Сравнение open-source BI и Analytic Workspace (AW BI)

В нашем ИТ-мире можно решить любую задачу при помощи любого инструмента, вплоть до Excel. Любой софт можно найти в виде open-source варианта
Сергей Громов, генеральный директор компании BI Consult

О каком бы аспекте жизни ни шла речь, своей цели можно достичь разными способами. В современном мире бизнеса, где данные играют ключевую роль в принятии стратегических решений, растет необходимость использования business intelligence (BI)-систем для анализа, визуализации и понимания данных. При выборе программного обеспечения для BI, компании сталкиваются с двумя основными вариантами: проприетарные (лицензионные) решения и open-source альтернативы. В обоих случаях есть свои преимущества и недостатки, и в зависимости от потребностей и бюджета компании, нужно принять рациональное решение.

В данной статье мы проведем сравнение open-source инструментов и российского BI-решения Analytic Workspace (AW BI), чтобы помочь разобраться, какой вариант предпочтителен для тех или иных бизнес-сценариев.

Начнем с терминологии.

Open-source vs проприетарный BI. Терминология и примеры.


Проприетарный BI

Термин «Проприетарный (лицензионный) BI» означает программное обеспечение, разработанное и продаваемое компаниями, исключительные права на которое принадлежат владельцам (вендору). Проприетарные (лицензионные) BI-решения обычно выпускаются с закрытым исходным кодом и требуют покупки или лицензирования для использования.

Проприетарные BI-инструменты обычно предлагают полноценную поддержку со стороны вендора или его партнёров, включая обновления, исправление ошибок, консультации и помощь в настройке и использовании. Они также могут предоставлять дополнительные гарантии безопасности и конфиденциальности данных, что важно для многих компаний.
Самые известные проприетарные BI-системы, заслуженно завоевавшие лидирующее положение на мировом рынке, у всех на слуху:

Enterprise BI: IBM Cognos, SAP BW, Oracle BI
Self-service BI: Power BI, Tableau, Qlik.

Сейчас в российских реалиях остро стоит проблема импортозамещения зарубежных BI-решений.
Analytic Workspace (AW BI) — современное российское проприетарное self-service BI-решение, закрывающее полный цикл работы с данными (сбор и консолидация, анализ и трансформация, визуализация и выгрузка отчетов) на замену Power BI, Tableau, Qlik.
Open-source BI

Open-source программное обеспечение поставляется для конечного пользователя с открытым исходным кодом. Это означает, что его исходный код доступен для всех и может быть изменен под свои задачи без нарушения авторских прав. Open-source программное обеспечение создается и поддерживается сообществом разработчиков, добровольно вносящих свой вклад. Это не только собственно аналитические BI-системы, это целая архитектура для хранения и обработки данных. Некоторые из самых популярных open-source BI инструментов включают в себя такие продукты, как:

— Pentaho: полнофункциональная open-source платформа, предоставляющая обширные возможности анализа данных и создания отчетов.
— Metabase: простой в использовании инструмент BI, который предоставляет возможность создавать отчеты, дашборды и анализировать данные без необходимости знания SQL.
— Redash: платформа для создания и визуализации отчетов, которая поддерживает множество источников данных и предлагает гибкие возможности настройки.
— Apache Superset: платформа для интерактивного анализа и визуализации данных, которая предлагает широкий спектр функций, включая дашборды, отчеты и визуальные панели.

Преимущества и недостатки open-source инструментов

На первый взгляд, самое очевидное преимущество open-source – это экономическая выгода: отсутствие отчислений за лицензии, бухгалтерской волокиты и юридических рисков, что важно для небольших компаний и стартапов.
На самом деле, как станет понятно в дальнейшем, экономическое преимущество - весьма спорное. Существуют более весомые аргументы, они собраны в таблице 1.
Таблица 1  —  Преимущества open-source программного обеспечения

Однако вышеописанные плюсы компенсируются существенными минусами. И главный из них — сложное внедрение и необходимость постоянно поддерживать экспертизу в компании.

Сложное внедрение
Для создания полноценной архитектуры open-source решения, ее внедрения, обслуживания и поддержки работоспособности нужны дорогие специалисты высокого уровня в следующих областях программирования:
  • Data governance — построение хранилища и структуризация данных
  • Data Literacy — культура работы с данными
  • Data Architect — построение архитектуры системы
  • DevOps — разработка и внедрение

Добавим, что для построения законченного бизнес-решения обычно нужно использовать несколько open-source решений. И для поддержки такой «связки» инструментов в крупных внедрениях нужны дополнительные специалисты: Solution Architect и разработчик, как минимум, в дополнение к перечисленным выше Data Architect и DevOps.

Отсутствие обслуживания и обновлений
Если вы начинаете «ковырять» код системы, то обновления уже просто так не поставить. Сообщество при этом ваши правки в продукт вряд ли примет.

Скрытые продажи
Некоторые open-source версии — это урезанные версии полноценных продуктов, которые постоянно намекают, что надо купить полную версию. Пример, Metabase, у которого open-source версия имеет существенные ограничения.
Вопросы к безопасности open-source BI-решений

Открытый код открыт и для недобрых людей — хакеров, которые находят уязвимости и регулярно взламывают системы с открытым кодом. Однако если брать open-source с большим комьюнити, то, напротив, такой код ревьюится многими, и все небезопасные места закрываются еще до попадания в очередной релиз. А если и найдено какое-то опасное место уже после релиза, то оно быстро закрывается патчами.

Кроме того, к недостаткам можно отнести отсутствие полноценной документации и формальной поддержки (никто не обязан вам помогать), серьезные вопросы к совместимости и интеграции с другими системами.

На российском рынке наблюдается появление множества интеграторов, которые специализируются на внедрении open-source программного обеспечения и предлагают свои услуги за определенную плату. В то же время существуют вендоры, которые создают готовые решения, используя для некоторой функциональности проверенные open-source компоненты. Например, в Analytic Workspace (AW BI) мы тоже используем ряд open-source компонентов, беря на себя ответственность за их эффективную и надежную работу в составе системы.

Система обращается к источникам данных, обрабатывает и трансформирует данные в рамках ETL-модуля, в котором в том числе используются open-source сервисы Apache Airflow, Apache Spark и Apache Drill. Вы можете создавать логические модели данных drag-and-drop способом или через SQL-запросы. Итогом этого этапа является формирование аналитической таблицы-витрины данных (Analytic Base Table, ABT), помещаемой во внутреннее хранилище на базе Clickhouse. Собранные витрины вы визуализируете, создавая виджеты и дашборды в режиме self-service.
Рисунок 1 — Схема работы Analytic Workspace (AW BI)
Рисунок 2 — Архитектура BI-системы Analytic Workspace (AW BI)
Подробно узнать о схеме работы BI-системы Analytic Workspace вы можете, посмотрев видео. Архитектор системы AW BI Александр Кварацхелия рассказывает о принципах работы системы в рамках вебинара «Analytic Workspace — российский self-service BI на замену Power BI, Tableau и Qlik».

Далее сравним AW BI с open-source решениями по ряду ключевых параметров.
Analytic Workspace — российский self-service BI на замену Power BI, Tableau и Qlik
Запись вебинара

Подключение источников и обработка данных

Open-source BI инструменты, как правило, не работают со связанными датасетами, когда есть возможность смотреть на данные не как на одну таблицу, а как на набор данных. Разумеется, команда программистов высокого уровня может создать необходимые связи и организовать желаемую архитектуру системы.

Analytic Workspace предоставляет возможность работы с различными источниками данных одновременно. Это включает поддержку СУБД, таких как Oracle, Clickhouse, MySQL, Microsoft SQL, Greenplum, PostgreSQL, Vertica, MariaDB, MongoDB. Кроме того, можно добавлять свои JDBC-коннекторы для работы с другими базами данных. Сервис также поддерживает работу с файлами и архивами различных форматов, включая .xlsx, .csv, .xml, .json, а также работу с веб-сервисами через API.

Analytic Workspace работает с данными в двух режимах хранения. В основном режиме данные после трансформации хранятся в собственном хранилище на базе Clickhouse, что обеспечивает оптимальную производительность. Однако, в случае готовых витрин данных система может подключаться к существующим базам данных Clickhouse без дополнительного хранения данных в своем хранилище.

Кроме того, Analytic Workspace обладает полноценным Extract-Transform-Load (ETL)-слоем для автоматической обработки и трансформации данных.

Простота освоения и self-service

Self-service (самообслуживание) — это свойство некоторых BI-систем, позволяющее работать с ними аналитикам без глубоких знаний программирования. Analytic Workspace относится к классу self-service BI-систем, то есть отличается простотой освоения и интуитивно понятным интерфейсом уже на уровне подключения источников и построения моделей данных.

Для удобства освоения AW BI предоставляет бесплатный пошаговый курс обучения

Что касается open-source BI — self-service в них практически отсутствует. Зачастую в инструментах с открытым исходным кодом акцент делается на архитектуре и процессе подготовки данных, а не на полнофункциональных возможностях самообслуживания. Интерфейс open-source решений не интуитивен, так как в сообществе в основном не дизайнеры, а разработчики. Self-service в определенной степени появляется только на стадии визуализации, после того как ИТ-специалисты уже подключили источники данных, выполнили процесс ETL и создали модели данных. Пользователи могут получить доступ к готовым отчетам и дашбордам, но возможности взаимодействия с данными и анализа на уровне self-service могут быть ограничены.

Внедрение и поддержка

Даже в больших компаниях с серьезным ИТ-отделом при самостоятельной сборке индивидуального BI-решения из open-source компонентов нужно постоянно поддерживать экспертизу в компании для обслуживания и поддержки работоспособности этой системы. В случае выбора проприетарного BI — всегда есть поддержка от вендора или его специализированных партнёров.

AW BI может внедряться как самостоятельно заказчиком, так и с поддержкой от вендора, который предлагает кастомизацию решения под требования бизнеса, дополнительные интеграции и функциональность.

При выборе решения также важно учитывать доступность и гибкость развертывания. Analytic Workspace может быть развернута как на собственных серверах заказчика, так и в облачной версии, что обеспечивает удобство и готовность к работе уже в первый день использования. Комплектация системы может быть кастомизирована в соответствии с потребностями и требованиями заказчика.

AW BI имеет активное телеграм-сообщество для технической помощи, где пользователи могут получить ответы на тематические вопросы.

Пример бизнес-сценария

Ситуация:
Одна из компаний в Калининградской области создала платформу лояльности, которая позволяет их клиентам — средним и мелким ритейлерам — осуществлять в розничных сетях сразу несколько механик программ лояльности: дисконтную, бонусную, реферальную и купонную.
Для анализа эффективности этих программ лояльности клиентам-ритейлерам предоставляется личный кабинет, в котором реализован BI-анализ данных, и пользователь может в реальном времени следить за оперативными сводками с показателями выручки, среднего чека, количества чеков и т. д. в различных временных разрезах. Для функционирования системы использовалось известное зарубежное решение Power BI.

Задача:
Необходимо заменить Power BI в связи с санкционными ограничениями.

Выбор решения:

Компания приняла решение установить российскую BI-систему Analytic Workspace, которая соответствует следующим требованиям:

  • легкая интеграция в сторонние ИТ-решения (в данном случае — в платформу лояльности для ритейлеров) в качестве модуля BI-аналитики,
  • стоимость, сопоставимая с Power BI, и достаточный объем функциональности для его замещения,
  • простота освоения пользователями и понятный интерфейс (self-service)
Стоимость open-source BI и проприетарного BI
Внедрение open-source BI требует меньших затрат на начальном этапе по сравнению с любым проприетарным BI за счет отсутствия оплаты лицензий. Однако надо иметь в виду, что придется для поддержки работоспособности решения нанимать в команду ряд квалифицированных ИТ-специалистов, поэтому в среднесрочной перспективе расходы могут удивить. Предлагаем скачать сравнительную таблицу расчета совокупной стоимости владения open-source BI (Apache Superset) и Analytic Workspace. Из таблицы видно, что уже на 4-й год владения расходы на open-source BI превысят расходы на Analytic Workspace!
Скачайте сравнительную таблицу расчета совокупной стоимости владения open-source BI (Apache Superset) и Analytic Workspace

Выводы

Подводя итоги вышесказанному, мы собрали выводы в сравнительную таблицу 3.
Таблица 3 — Сравнение open-source BI и Analytic Workspace по ряду ключевых параметров
Александр Кварацхелия
Ведущий архитектор BI-системы Analytic Workspace
Эксперт по ML и ETL-разработке. Кандидат математических наук.
15 августа 2023
Хотите узнать стоимость BI-системы под ваш бизнес? Закажите бесплатную консультацию от наших экспертов.