Российские BI-системы: сравниваем лучшие BI-решения

Чтобы повысить эффективность и оптимизировать расходы, российский бизнес инвестирует в бизнес-аналитику. Еще несколько лет назад задачу решали с помощью зарубежных BI-решений — как правило, Power BI или Tableau. Однако из-за массового оттока иностранных BI-вендоров в 2022 году и прогрессирующего тренда на импортозамещение российские компании стали сотрудничать с отечественными производителями BI-платформ.

Visiology, Alpha BI, Analytic Workspace (AW BI), Modus BI, Luxms BI, «Форсайт», «Триафлай», PolyAnalyst, PIX BI, Yandex DataLens — популярные российские BI-системы. Они предлагают широкий спектр решений на основе лучших практик западных BI-платформ Power BI, Tableau и Metabase. Заметную позицию на рынке занимает также китайская BI-система Fine BI, которая, впрочем, не входит в реестр российского ПО и не может в полной мере решать задачи импортозамещения. Это позволяет подобрать подходящую функциональность с учетом уникальных BI-задач  и размеров бизнеса в разных технологических и ценовых категориях.

Хотя некоторые могут относиться к российским BI-продуктам скептически, этот сегмент активно развивается уже несколько лет. Так, аналитики допускают, что в 2023 году рост рынка может составить 40% по сравнению с 2022, что говорит об увеличивающемся спросе и количестве внедрений BI-решений российских вендоров, а также усовершенствовании их функциональности.

Чтобы провести комплексный анализ платформ аналитики, мы по нескольким параметрам сравнили популярные продукты BI, такие как Visiology, Yandex DataLens, Analytic Workspace и другие.

Внедрение BI-системы становится необходимо бизнесу, когда объемы постоянно пополняющихся данных, в том числе неструктурированных, возрастают настолько, что управление ими в рамках условных Excel-таблиц и ручного анализа становится не только затруднительным, но и приводит к ошибкам и неверной интерпретации. В свою очередь, хранение больших данных и работа с ними — это серьезный технологический вызов, связанный в том числе с мощностью используемых серверов.

На данном этапе бизнес, как правило, имеет свою сложную ИТ-инфраструктуру (обычно изобилующую «костылями» и «заплатками»). Внедрение новой «надстройки» в виде BI-системы призвано упростить и структурировать работу с данными, а не разрушить окончательно. С этой точки зрения архитектура современного BI-решения должна быть такой, чтобы более-менее бесшовно встраиваться в существующую инфраструктуру Заказчика, в то же время позволяя закрыть все задачи по бизнес-аналитике данных:

— сбор и первичная обработка данных;
— извлечение, преобразование и загрузка данных;
— их складирование и представление в витринах данных;
— анализ и его отображение на web-портале.

Чаще всего современные BI-решения построены на микросервисной архитектуре, которая позволяет использовать мощности нескольких небольших серверов и обеспечить их «синхронную» работу для решения одной бизнес-задачи.


Что предлагают BI-решения

Visiology: платформа построена на микросервисной архитектуре и развертывается в виде набора Docker-контейнеров. Frontend архитектура реализована с помощью JavaScript (с подключением любых соответствующих библиотек), JQuery, Angular, Highcharts, D3.js и собственного документированного JavaScript API.

Modus BI: Back-End — язык разработки Golang, Front-End — кросс браузерный ReactJS с адаптивной версткой. Система имеет два независимых модуля — Modus ETL для решения сложных задач обработки данных из различных источников и Modus BI для формирования аналитических отчетов. При этом последний может осуществлять операции только с данными, находящимися в одном источнике.

Analytic Workspace (AW BI): предлагает микросервисную архитектуру из open-source компонентов, которые гибко настраиваются и встраиваются в инфраструктуру Заказчика. Более того, в ней реализованы все слои работы с данными, включая полноценный ETL-модуль, что покрывает весь процесс от сбора и обогащения до визуализации данных.

PolyAnalyst: позволяет добавлять пользовательские процедуры для загрузки, преобразования и выгрузки данных на языках R и Python. Также предоставляется возможность обрабатывать и анализировать данные, применяя алгоритмы машинного обучения.

PIX BI: логичное продолжение продуктовой линейки и развитие экосистемы PIX от компании PIX Robotics. В пакет PIX BI входит робот PIX RPA для выполнения сложных вычислений, анализа и обработки информации и выполнения сложных рутинных операций.

Alpha BI: мощный конструктор корпоративных аналитических решений для бизнеса и государства. Предоставляет широчайшие возможности аналитики данных, от построения многослойных корпоративных хранилищ данных (DWH) до формирования регламентной отчетности.

Качественная BI-система должна уметь подключаться к очень большому количеству источников: разнообразные базы данных, файлы различных форматов (как локальные, так и удаленные, доступные по ftp-подобным протоколам), web-сервисы. Сравним возможности российских BI-решений в части подключения к популярным источникам данных.


Что предлагают BI-решения
На рисунке ниже представлена информация о доступных для подключения источниках данных в рассматриваемых BI-решениях (Таблица 1, 2)

Чтобы эффективно работать с данными из разных источников применяется набор механизмов, которые обычно называются модулем ETL (Extract-Transform-Load). Стадия Extract обеспечивает выгрузку данных. На стадии Transform происходит их объединение в единую модель данных, очистка и обогащение. Стадия Load выполняет загрузку в постоянное производительное хранилище аналитических данных.

Если же BI-решение не оснащено инструментами обработки данных, приходится подключать сторонние. Это усложняет и тормозит работу с большим массивом данных, особенно если он постоянно обновляется.


Что предлагают BI-решения

Часто ETL-слой не закрывает все задачи и достаточно ограничен, особенно при работе с большим объемом данных:

«Триафлай»: нет возможности присоединять таблицы из разных источников и дополнительно обрабатывать их на этапе трансформации.

Modus BI: также нужно формировать отдельный датасет в виде таблицы для каждой диаграммы. При этом потребуется знание языка SQL.

Visiology: встроен базовый ETL, ориентированный на загрузку по расписанию подготовленных витрин данных. Тем не менее система советует подключить внешний ETL-инструмент для более сложных трансформаций.

Yandex DataLens: полностью отсутствует ETL-слой. Задачи можно решить с помощью других инструментов — Yandex Data Transfer, Yandex DataProc, Yandex DataSphere и т. Д.

Analytic Workspace: реализован полноценный ETL-слой, который включает подсистемы источников данных, моделей, виджетов, информационных панелей и администрирования. При работе с ETL Analytic Workspace использует связку open source сервисов Apache Airflow, Apache Spark и Apache Drill. Также можно предварительно просмотреть результаты моделирования, что ускоряет работу с большими объемами данных. Логические модели данных в AW BI создаются drag-and-drop способом или через SQL-подобный синтаксис запросов, аналогичный используемому в Yandex DataLens.

PIX BI: в комплект поставки входит модуль ETL для подключения различных источников данных. Модуль позволяет упростить процесс обработки, нормализации и загрузки данных в BI-систему и повысить их качество.

Alpha BI: мощный ETL-процессор извлекает и преобразует данные, приводит их к необходимому формату в соответствии с заданными правилами и выгружает данные в другие базы данных. Работа с большими данными в Alpha BI реализуется благодаря возможности работы с файловым хранилищем HDFS (Hadoop) и массово параллельной СУБД Greenplum. Эти инструменты позволяют, используя ETL, из холодных данных сформировать озеро данных, по которому в дальнейшем строить аналитику.

Создавать и подключать пользовательские объекты визуализации можно и в Luxms BI, если потратить ресурсы разработки.

Этот критерий оценивает функциональные возможности работы системы с подготовленными данными и использования их для решения аналитических задач. Мы рассмотрим принципы и ограничения работы и с моделью данных и при создании аналитических показателей на их основе в различных BI-продуктах.


Что предлагают BI-решения

«Форсайт»:
имеет возможности расширенной аналитики данных: более 300 встроенных алгоритмов продвинутой аналитики. Среди них базовые математические и статистические методы, анализ временных рядов, корреляционно-регрессионный анализ, Text Mining, Data Mining, многомерный статистический анализ, распознавание естественной речи и графических образов, имитационное моделирование и экспертные методы.

Analytic Workspace (AW BI): self-service BI-система, закрывающая полный цикл работы с данными (консолидация, анализ и трансформация, визуализация). Система обращается к источникам данных, обрабатывает и трансформирует данные в рамках ETL-модуля, в котором в том числе используются open-source сервисы Apache Airflow, Apache Spark и Apache Drill. Логические модели данных можно создавать drag-and-drop способом, через SQL-запросы или Phyton-скрипты. Итогом этого этапа является формирование аналитической таблицы-витрины данных (Analytic Base Table, ABT), помещаемой во внутреннее хранилище на базе Clickhouse.

Luxms BI: имеет значительные возможности для обработки и анализа данных вплоть до кастомной визуализации по эскизам Заказчика. Структура работы с данными предполагает возможность как выполнения расчетов "на лету", так и предрасчета данных на стороне внутренних/внешних источников. Однако функциональность построения моделей данных и настройки аналитических объектов требует серьезного участия разработчиков.

Visiology: есть возможность работать не только в In-Memory, но и в режиме push-down автоматической генерации SQL-запросов к распределенным СУБД c массовым параллелизмом (Arenadata, HP Vertica, Yandex ClickHouse): «горячие» данные размещаются в оперативной памяти, быстро обновляются и доступны для обработки без задержек; «холодные» ретроспективные данные содержатся в реляционном хранилище.

Alpha BI: углубленная аналитика данных включает формирование аналитического хранилища − специальным образом организованного массива данных компании (организации), обрабатываемого и хранящегося в едином аппаратно-программном комплексе, который обеспечивает быстрый доступ к оперативной и исторической информации, многомерный OLAP анализ данных (KPI по различным измерениям), получение статистики в разрезах согласованной нормативно-справочной информации (НСИ).

Modus BI: в модуле Modus ETL реализованы сценарии стандартных операций по обработке данных и настроены шаблоны, которые позволяют значительно упростить настройку ETL-процесса. Чтобы реализовать более сложные сценарии обработки или загрузки данных, может требоваться написание операций на языке 1С/SQL .

PolyAnalyst: ограничены возможности настройки определенных визуальных элементов (например, OLAP-таблиц).

«Триафлай»: анализирует версионности и ретроспекцию, показывает, как было получено значение, углубляясь в формулу расчета показателя, наложенные фильтры, разрезы агрегирования и даже исходные данные.

PIX BI: быстродействие системы, так же, как и в AW BI, обеспечивается за счет использования встроенного хранилища ClickHouse. Причем, поскольку взаимодействие с СУБД производит сама система PIX BI, в штате не требуются отдельные специалисты, обладающие знанием ClickHouse. Быстродействие при отображении прямых таблиц достигается пагинацией - при скролле подгружается только определенный фрагмент данных.

«Селф сервис» (self-service) системы — это так называемые BI-системы самообслуживания, которые позволяют найти решение проблемы без службы поддержки. Такие платформы подходят для специалистов без значительных ИТ-знаний, часто легко интегрируются и быстро дают результат.

Хотя self-service частично реализуется у многих платформ, не все можно отнести к low-code/no-code (LCNC) решениям. Самых впечатляющих результатов в этом отношении добились разработчики системы Analytic Workspace. Например, Visiology, которая чаще развертывается на ресурсах клиентов (on-premise), потребует больше ресурсов разработки по сравнению с Analytic Workspace, которую можно интуитивно развернуть в облаке и быстро приступить к анализу данных.


Что предлагают BI-решения

Visiology: запустила виртуального помощника ViTalk, который строит дашборды (информационные панели) по голосовым командам.

Analytic Workspace: интуитивно понятный интерфейс, в котором можно загружать данные, создавать модели и массивы, проводить разведку данных, визуализировать их и создавать виджеты и дашборды (информационные панели) с помощью drag-n-drop. AW BI предоставляет возможности для глубокого self-service уже на уровне подключения источников и построения моделей данных.

Для удобства освоения AW BI предоставляет бесплатный пошаговый курс обучения.

Чтобы обеспечить безопасность работы с данными и высокую производительность BI-систем, они должны быть совместимы с российским ПО. Более того, с развитием тренда на импортозамещение некоторым компаниям приходится выбирать только совместимое с российскими процессорами и системами ПО, чтобы соблюдать требования Минцифры.


Что предлагают BI-решения

В единый реестр российского ПО включены:
— Visiology;
— Analytic Workspace;
— Yandex DataLens;
— Modus BI;
— Luxms BI;
— Alpha BI;
— «Форсайт»;
— «Триафлай»;
— PolyAnalyst;
— PIX BI.

Достаточно зрелая китайская платформа Fine BI не внесена.