Сравнение open-source BI и Analytic Workspace (AW BI)

О каком бы аспекте жизни ни шла речь, своей цели можно достичь разными способами. В современном мире бизнеса, где данные играют ключевую роль в принятии стратегических решений, растет необходимость использования business intelligence (BI)-систем для анализа, визуализации и понимания данных. При выборе программного обеспечения для BI, компании сталкиваются с двумя основными вариантами: проприетарные (лицензионные) решения и open-source альтернативы. В обоих случаях есть свои преимущества и недостатки, и в зависимости от потребностей и бюджета компании, нужно принять рациональное решение.

В данной статье мы проведем сравнение open-source инструментов и российского BI-решения Analytic Workspace (AW BI), чтобы помочь разобраться, какой вариант предпочтителен для тех или иных бизнес-сценариев.

Начнем с терминологии.

Проприетарный BI

Термин «Проприетарный (лицензионный) BI» означает программное обеспечение, разработанное и продаваемое компаниями, исключительные права на которое принадлежат владельцам (вендору). Проприетарные (лицензионные) BI-решения обычно выпускаются с закрытым исходным кодом и требуют покупки или лицензирования для использования.

Проприетарные BI-инструменты обычно предлагают полноценную поддержку со стороны вендора или его партнёров, включая обновления, исправление ошибок, консультации и помощь в настройке и использовании. Они также могут предоставлять дополнительные гарантии безопасности и конфиденциальности данных, что важно для многих компаний.
Самые известные проприетарные BI-системы, заслуженно завоевавшие лидирующее положение на мировом рынке, у всех на слуху:

Enterprise BI: IBM Cognos, SAP BW, Oracle BI
Self-service BI: Power BI, Tableau, Qlik.

Сейчас в российских реалиях остро стоит проблема импортозамещения зарубежных BI-решений.
Analytic Workspace (AW BI) — современное российское проприетарное self-service BI-решение, закрывающее полный цикл работы с данными (сбор и консолидация, анализ и трансформация, визуализация и выгрузка отчетов) на замену Power BI, Tableau, Qlik.

На первый взгляд, самое очевидное преимущество open-source – это экономическая выгода: отсутствие отчислений за лицензии, бухгалтерской волокиты и юридических рисков, что важно для небольших компаний и стартапов.
На самом деле, как станет понятно в дальнейшем, экономическое преимущество - весьма спорное. Существуют более весомые аргументы, они собраны в таблице 1.

Однако вышеописанные плюсы компенсируются существенными минусами. И главный из них — сложное внедрение и необходимость постоянно поддерживать экспертизу в компании.

Сложное внедрение
Для создания полноценной архитектуры open-source решения, ее внедрения, обслуживания и поддержки работоспособности нужны дорогие специалисты высокого уровня в следующих областях программирования:

• Data governance — построение хранилища и структуризация данных
• Data Literacy — культура работы с данными
• Data Architect — построение архитектуры системы
• DevOps — разработка и внедрение

Добавим, что для построения законченного бизнес-решения обычно нужно использовать несколько open-source решений. И для поддержки такой «связки» инструментов в крупных внедрениях нужны дополнительные специалисты: Solution Architect и разработчик, как минимум, в дополнение к перечисленным выше Data Architect и DevOps.

Отсутствие обслуживания и обновлений
Если вы начинаете «ковырять» код системы, то обновления уже просто так не поставить. Сообщество при этом ваши правки в продукт вряд ли примет.

Скрытые продажи
Некоторые open-source версии — это урезанные версии полноценных продуктов, которые постоянно намекают, что надо купить полную версию. Пример, Metabase, у которого open-source версия имеет существенные ограничения.

На российском рынке наблюдается появление множества интеграторов, которые специализируются на внедрении open-source программного обеспечения и предлагают свои услуги за определенную плату. В то же время существуют вендоры, которые создают готовые решения, используя для некоторой функциональности проверенные open-source компоненты. Например, в Analytic Workspace (AW BI) мы тоже используем ряд open-source компонентов, беря на себя ответственность за их эффективную и надежную работу в составе системы.

Система обращается к источникам данных, обрабатывает и трансформирует данные в рамках ETL-модуля, в котором в том числе используются open-source сервисы Apache Airflow, Apache Spark и Apache Drill. Вы можете создавать логические модели данных drag-and-drop способом или через SQL-запросы. Итогом этого этапа является формирование аналитической таблицы-витрины данных (Analytic Base Table, ABT), помещаемой во внутреннее хранилище на базе Clickhouse. Собранные витрины вы визуализируете, создавая виджеты и дашборды в режиме self-service.

Open-source BI инструменты, как правило, не работают со связанными датасетами, когда есть возможность смотреть на данные не как на одну таблицу, а как на набор данных. Разумеется, команда программистов высокого уровня может создать необходимые связи и организовать желаемую архитектуру системы.

Analytic Workspace предоставляет возможность работы с различными источниками данных одновременно. Это включает поддержку СУБД, таких как Oracle, Clickhouse, MySQL, Microsoft SQL, Greenplum, PostgreSQL, Vertica, MariaDB, MongoDB. Кроме того, можно добавлять свои JDBC-коннекторы для работы с другими базами данных. Сервис также поддерживает работу с файлами и архивами различных форматов, включая .xlsx, .csv, .xml, .json, а также работу с веб-сервисами через API.

Analytic Workspace работает с данными в двух режимах хранения. В основном режиме данные после трансформации хранятся в собственном хранилище на базе Clickhouse, что обеспечивает оптимальную производительность. Однако, в случае готовых витрин данных система может подключаться к существующим базам данных Clickhouse без дополнительного хранения данных в своем хранилище.

Кроме того, Analytic Workspace обладает полноценным Extract-Transform-Load (ETL)-слоем для автоматической обработки и трансформации данных.

Self-service (самообслуживание) — это свойство некоторых BI-систем, позволяющее работать с ними аналитикам без глубоких знаний программирования. Analytic Workspace относится к классу self-service BI-систем, то есть отличается простотой освоения и интуитивно понятным интерфейсом уже на уровне подключения источников и построения моделей данных.

Для удобства освоения AW BI предоставляет бесплатный пошаговый курс обучения

Что касается open-source BI — self-service в них практически отсутствует. Зачастую в инструментах с открытым исходным кодом акцент делается на архитектуре и процессе подготовки данных, а не на полнофункциональных возможностях самообслуживания. Интерфейс open-source решений не интуитивен, так как в сообществе в основном не дизайнеры, а разработчики. Self-service в определенной степени появляется только на стадии визуализации, после того как ИТ-специалисты уже подключили источники данных, выполнили процесс ETL и создали модели данных. Пользователи могут получить доступ к готовым отчетам и дашбордам, но возможности взаимодействия с данными и анализа на уровне self-service могут быть ограничены.

Даже в больших компаниях с серьезным ИТ-отделом при самостоятельной сборке индивидуального BI-решения из open-source компонентов нужно постоянно поддерживать экспертизу в компании для обслуживания и поддержки работоспособности этой системы. В случае выбора проприетарного BI — всегда есть поддержка от вендора или его специализированных партнёров.

AW BI может внедряться как самостоятельно заказчиком, так и с поддержкой от вендора, который предлагает кастомизацию решения под требования бизнеса, дополнительные интеграции и функциональность.

При выборе решения также важно учитывать доступность и гибкость развертывания. Analytic Workspace может быть развернута как на собственных серверах заказчика, так и в облачной версии, что обеспечивает удобство и готовность к работе уже в первый день использования. Комплектация системы может быть кастомизирована в соответствии с потребностями и требованиями заказчика.

AW BI имеет активное телеграм-сообщество для технической помощи, где пользователи могут получить ответы на тематические вопросы.

Ситуация:
Одна из компаний в Калининградской области создала платформу лояльности, которая позволяет их клиентам — средним и мелким ритейлерам — осуществлять в розничных сетях сразу несколько механик программ лояльности: дисконтную, бонусную, реферальную и купонную.
Для анализа эффективности этих программ лояльности клиентам-ритейлерам предоставляется личный кабинет, в котором реализован BI-анализ данных, и пользователь может в реальном времени следить за оперативными сводками с показателями выручки, среднего чека, количества чеков и т. д. в различных временных разрезах. Для функционирования системы использовалось известное зарубежное решение Power BI.

Задача:
Необходимо заменить Power BI в связи с санкционными ограничениями.

Выбор решения:

Компания приняла решение установить российскую BI-систему Analytic Workspace, которая соответствует следующим требованиям:

• легкая интеграция в сторонние ИТ-решения (в данном случае — в платформу лояльности для ритейлеров) в качестве модуля BI-аналитики,
• стоимость, сопоставимая с Power BI, и достаточный объем функциональности для его замещения,
• простота освоения пользователями и понятный интерфейс (self-service)

Подводя итоги вышесказанному, мы собрали выводы в сравнительную таблицу 3.