Сравнение российской self-service BI-системы Analytic Workspace с ведущими зарубежными платформами: Power BI, Tableau, Qlik Sense

Потребность в импортозамещении зарубежных BI-решений в нынешних реалиях российского рынка растет лавинообразно. Современные российские системы стремительно развиваются, чтобы занять освобождающуюся нишу. Разумеется, BI-платформы зачастую значительно различаются по функциональности, выбор инструмента должен зависеть от конкретных задач и инфраструктуры бизнеса, бюджета, наличия в компании сильных ИТ-специалистов и других факторов. Обзор-сравнение российских BI-систем 2023 читайте в нашей статье.

Целью же данной статьи является сравнение активно набирающей популярность российской self-service BI-системы Analytic Workspace и трёх ведущих зарубежных платформ, входящих в ТОП-3 в обзоре Gartner (рисунок 1):

• Power BI (Microsoft)
• Tableau
• Qlik Sense

Выделим несколько критериев для анализа этих систем с точки зрения аналитика и разработчика:

• Порог вхождения и требования к аналитику;
• Источники данных;
• Очистка данных, ETL (Extract, Transform, Load)
• Визуализация
• Внедрение и лицензирование
• Embedded (встроенная) аналитика в сторонние приложения/сайты по модели OEM

Power BI

Значительное его преимущество (как и других зарубежных решений с многолетним опытом на рынке) — это наличие огромного числа специалистов разного уровня, подкованных в этой системе. Однако многим пользователям, которые не являются профессиональными ИТ-специалистами, удается создавать качественные отчеты в Power BI. Он использует тот же язык запросов, что и Excel — Power Query и язык формул DAX. В связи с этим, многие аналитики, которые хорошо знакомы с Excel, легко адаптируются к использованию Power BI.

Большинство действий в Power BI можно легко выполнить в редакторе запросов. Кроме того, для опытных профессионалов есть расширенный редактор с языком M, что позволяет более гибко настраивать и анализировать данные.

Qlik Sense

Qlik Sense представляет собой интуитивно понятную и дружелюбную BI-платформу с небольшим количеством настроек и возможностью быстро создавать отчеты с помощью конструктора загрузки данных.

На первый взгляд, он может показаться более простым, чем Power BI и Tableau. Однако реально для построения сложных отчетов приходится столкнуться с необходимостью программирования.

Qlik обладает мощными возможностями для загрузки и обработки данных с использованием собственного языка программирования Set Analysis, что требует от аналитика умения писать запросы, выполнять соединения таблиц, использовать виртуальные таблицы и активно работать с переменными. Хотя возможности языка весьма разнообразны, его использование требует определенной подготовки и изучения. В связи с этим, многие аналитики, работающие с Qlik, обладают значительным опытом в области информационных технологий.

Интеграторы Qlik часто подчеркивают преимущество ассоциативной модели данного инструмента. Она позволяет хранить все данные в оперативной памяти и устанавливать связи между ними с помощью внутреннего механизма платформы. При выборе значений в Qlik не требуются внутренние подзапросы, как в традиционных базах данных, и благодаря индексированным значениям и связям данные выводятся практически мгновенно.

Однако на практике это может привести к автоматическому соединению таблиц при совпадении названий полей. Например, в Qlik нельзя иметь разные таблицы без связей с одинаковым полем. В таких случаях пользователям придется либо переименовывать столбцы и следить за их уникальностью, либо объединять все таблицы фактов в одну и окружать их справочниками, используя модель «звезда». Новичкам может показаться, что это не совсем удобно, но опытные аналитики уже не обращают на это внимания и успешно работают в Qlik.

Tableau

Tableau разработчики позиционируют свой продукт как BI-систему с интуитивным и удобным интерфейсом, который позволяет аналитикам самостоятельно изучать и анализировать данные. Однако имеются некоторые сложности:

• Несовершенная локализация на русский язык
• Конструктор загрузки данных в Tableau хотя и достаточно прост в использовании, может вызвать проблемы в случае построения сложных моделей данных
• Для задач построения моделей таблиц фактов и таблиц справочников без необходимости объединения их в одну таблицу в Tableau применяется инструмент Data Blending, который требует аккуратного использования, так как после объединения могут возникать ошибки дублирования данных.

Кроме того, Tableau имеет свою особенную систему, где каждый график создается на отдельном листе (Sheet), после чего можно создавать компоновки (Dashboard), где листы размещаются вместе. Затем можно создать историю (Story), объединяющую различные компоновки. Аналогичный подход используется в AW BI. В то же время в Qlik и Power BI разработка графиков и компоновок иная — вы создаете шаблоны графиков на листе, задаете измерения и меры, и ваш Dashboard готов.

Analytic Workspace

AW BI — self-service BI-система, закрывающая полный цикл работы с данными (консолидация, анализ и трансформация, визуализация).
Система обращается к источникам данных, обрабатывает и трансформирует данные в рамках ETL-модуля, в котором в том числе используются open-source сервисы Apache Airflow, Apache Spark и Apache Drill. Логические модели данных можно создавать drag-and-drop способом, через SQL-запросы или Phyton-скрипты. Итогом этого этапа является формирование аналитической таблицы-витрины данных (Analytic Base Table, ABT), помещаемой во внутреннее хранилище на базе Clickhouse.

Данные из аналитической витрины визуализируются с помощью разнообразных графиков — виджетов (более 20-ти готовых + возможность создавать свои). А подготовленные виджеты размещаются на единый дашборд — информационную панель. На этапе визуализации возможно написание расчетных агрегатов (мер) — используется синтаксис запросов к Clickhouse (совпадает с синтаксисом агрегатов в DataLens).

На рисунке 2 представлена схема работы системы Analytic Workspace.

Для самостоятельного освоения AW BI пользователям предоставляется двухнедельный бесплатный демо-доступ. Можно подключить свои источники и получить результаты в первый же день работы.

Вместе с тем, вендор исключительно заинтересован в увеличении количества специалистов — аналитиков, имеющих опыт работы в AW BI. Для этого в июле 2023 года запущен совершенно бесплатный курс «BI-аналитик» на платформе Stepik, позволяющий приобрести практические навыки работы с платформой AW BI и систематизировать свои знания в области business intelligence. Курс сразу набрал большую популярность: уже в первые 2 недели после запуска его слушателями стали более 500 человек.

Для технической помощи при освоении AW BI существует развитое активное Телеграм-сообщество, где все вопросы оперативно и дружелюбно решаются командой специалистов.

Список напрямую подключенных источников во всех рассматриваемых системах впечатляет — все табличные файлы, все стандартные базы данных, web-подключения. Исключением для зарубежных BI-систем является только СУБД 1С, прямых коннекторов к 1С в зарубежных BI-системах нет.

Партнеры Qlik в России предлагают свои собственные коннекторы для интеграции с 1С, однако можно более экономично использовать выгрузки данных из 1С на FTP в формате Excel или базу данных SQL. Также возможен вариант публикации базы 1С в вебе и подключение к ней по протоколу OData. В обоих случаях есть решения для подключения и работы с данными из 1С.

Tableau

Tableau в бесплатной версии ограничен в источниках, но мы больше ориентируемся на бизнес, а бизнес может позволить себе коммерческие продукты и аналитиков.

Серверы Tableau Online находятся за пределами Российской Федерации, что может вызвать определенные проблемы с соответствием законодательству о защите данных

Qlik Sense

В части загрузки данных Qlik имеет ряд приятных особенностей:

• QVD файлы

QVD (QlikView Data) — это собственный формат хранения данных, который может использоваться в разных приложениях. Различные сотрудники и сервисы могут быть ответственными за эти файлы. Загрузка данных из QVD файлов в Qlik происходит значительно быстрее, чем из обычных источников данных, ускоряя процесс обработки данных.

• Инкрементальная загрузка данных

• Подключение внешних скриптов

Qlik также разрешает использовать внешние скрипты, которые выносятся за пределы приложения, и подключаются командой Include. Это позволяет организовывать командную работу, использовать системы контроля версий и управлять единым кодом для разных приложений.

Дополнительно стоит отметить, что Qlik предлагает как платные, так и бесплатные коннекторы, что дает больше гибкости в выборе способа подключения к разным источникам данных.

Analytic Workspace

AW BI использует асинхронный способ отрисовки и загрузки виджетов и нативно подключается к ClickHouse, что позволяет оптимально хранить и обрабатывать данные. В итоге при нагрузочном тестировании версии 1.19 удалось добиться скорости загрузки отчёта из 5 виджетов по 1 миллиону строк в каждом < 4 секунд при одновременной работе более 1000 пользователей. Построение отдельных графиков и виджетов, которые используют небольшое количество полей в исходной таблице, происходит быстро благодаря колоночному хранению: сканируются только нужные колонки из исходной таблицы.

Помимо этого, AW BI также поддерживает инкрементальную загрузку данных и имеет возможность подключения собственных JDBC-коннекторов, что обеспечивает максимальную гибкость при работе с любыми бизнес-сценариями.

Отметим также, что имеется возможность использования внутреннего хранилища Clickhouse AW BI как источника данных в сторонних системах, и наоборот, AW BI может напрямую подключаться к стороннему хранилищу Clickhouse и использовать его как собственную витрину данных.

Qlik Sense

Для ИТ-специалистов — знатоков собственного SQL-подобного языка Qlik Sense открывает мощные функции, которые позволяют создавать виртуальные таблицы, выполнять соединение и объединение таблиц, использовать циклы, генерировать новые таблицы и обрабатывать строки с помощью множества доступных возможностей.

Power BI

Благодаря конструктору запроса в Power BI, большинство задач можно легко решить без написания кода: настроить параметры, выполнить транспонирование таблицы, обработать данные и многое другое.


Tableau

Идеология Tableau сконцентрирована в большей степени на создании красивого дизайна, а не на обеспечении простоты и гибкости обработки данных. Подключение и соединение различных источников данных внутри Tableau может быть достаточно сложным. В коммерческих проектах, большинство предварительно подготавливают и аккумулируют данные в отдельных хранилищах и базах данных перед загрузкой в Tableau.

Analytic Workspace

Analytic Workspace обладает полноценным Extract-Transform-Load (ETL)-слоем для автоматической обработки и трансформации данных. При работе с ETL Analytic Workspace использует связку open source сервисов Apache Airflow, Apache Spark и Apache Drill. Доступен также предварительный просмотр результатов моделирования, что ускоряет работу и обеспечивает возможность глубокой обработки данных в Analytic Workspace.

Логические модели данных в AW BI создаются drag-and-drop способом или через SQL-подобный синтаксис запросов, аналогичный используемому в Yandex DataLens.

На просторах интернета можно найти очень красивые картинки, построенные на базе любой из зарубежных BI-систем. Базовые возможности визуализаций примерно одинаковые у всех. Остальное решается использованием платных или бесплатных расширений (Extensions) как от самих вендоров, так и от фрилансеров и интеграторов.

Использование расширений может изменять отчеты до неузнаваемости. Также можно изменить тему и оформление.

На рисунке 3 приведены примеры дашбордов Tableau.

Кому-то Qlik Sense несколько удобнее благодаря таким стандартным опциям, как альтернативные измерения и меры, которые позволяют создать такие настройки визуализации, при которых пользователь сам определяет, что ему смотреть на том или ином графике.

На рисунке 4 приведены примеры дашбордов Qlik.

В Power Bi и Tableau приходится настраивать параметры, кнопки, программировать поведение системы и вид визуализации в зависимости от этих параметров.

На рисунке 5 приведены примеры дашбордов Power BI.

Analytic Workspace использует дата-центричный подход к построению визуализаций, который радикально отличается от подхода Power BI. В AW BI каждый виджет представляет собой отдельную сущность. Виджеты впоследствии могут произвольно комбинироваться при формировании информационных панелей (дашбордов). Таким образом достигается максимальная гибкость при внесении изменений.

В AW BI доступно 22 вида визуализаций «из коробки», однако имеется возможность построить любую на свой вкус благодаря встроенной интеграции с библиотекой ECharts, в которой доступно более 400 видов визуализаций. Также можно подключить и любую другую JS-библиотеку визуализаций, что делает возможности визуализации данных практически безграничными.

На рисунке 6 приведены примеры дашбордов AW BI.

Все рассматриваемые BI-продукты имеют как корпоративные серверные (on-premise), так и облачные версии со своими достоинствами и недостатками. Но общий тренд для зарубежных BI — переход в облака. Доступно автоматическое обновление отчетов по расписанию, но есть некоторые ограничения.

У всех зарубежных вендоров можно раздавать права доступа как на уровне учетных записей и групп, так и на уровне Data Row Level Security. В AW BI также реализовано разграничение прав доступа до уровня строк, и используется разрешительная модель, что позволяет настраивать доступ к данным до уровня виджета.

On-premise

Qlik Sense Enterprise позволит построить аналитику внутри организации для среднего бизнеса с использованием всех возможностей Qlik, кроме одной. Возможность отправлять отчеты в PDF по электронной почте поставляется в виде отдельного сервиса NPrinting.

Power BI Premium при равных возможностях значительно дороже Qlik Sense Enterprise для средних внедрений. Крупные внедрения обычно просчитываются уже на стороне вендора, и компании могут рассчитывать на индивидуальные условия.

Стоимость Tableau Server определяется на основе лицензионной модели, которая включает плату за лицензию на сервер, а также плату за каждое активное имя пользователя (user-based license). Стоимость для организаций может начинаться от нескольких тысяч долларов в год и расти с увеличением числа пользователей или необходимости дополнительных функций и поддержки.

AW BI доступна в серверной версии как по бессрочной лицензии, так и по лицензии на год. Стоимость лицензий различается в зависимости от роли пользователя: разработчик, аналитик или специалист, которые отличаются уровнем доступа к редактированию системы.

Облачные

Не надо забывать, что сервера Power BI Pro находятся в облаке Microsoft за территорией России и на производительность вы не можете повлиять. К тому же облачная версия позволяет обновлять отчёт не более 8 раз в сутки.

Qlik Sense Cloud имеет весьма существенное ограничение: нельзя использовать Extensions, даже встроенные. А без расширений Qlik несколько теряет свою визуальную красоту. Альтернативным вариантом является использование Qlik Sense Enterprise по подписке.

AW BI доступна в облаке партнеров (Yandex Cloud, Сбер Cloud) по подписке на месяц либо на год. Функциональность облачной версии полностью соответствует серверной и не имеет ограничений.

В Tableau есть как облачные подписки, так и дорогие серверные решения. Но основная идея Tableau в том, что обработку и хранение данных нужно организовывать на стороне, а для маленького и среднего бизнеса создавать отдельное хранилище обычно бывает проблематично. Зато сервер Tableau без проблем отправляет письма по электронной почте по расписанию с вложениями в форматах CSV или PDF. Причем можно делать раздачу прав, автофильтров и т.д. В AW BI такая возможность тоже есть.

Также в корпоративной среде важно учесть стоимость внедрения и обслуживания BI-системы. В России Power BI широко распространен в малом бизнесе, что привело к появлению большого количества вакансий и резюме, а также небольших интеграторов. Это позволяет найти специалистов для малых проектов, хотя у них может не быть опыта работы с крупными внедрениями и обработкой больших объемов данных.

В отличие Power BI, Qlik и Tableau имеют меньшее количество партнеров, которые специализируются на крупных внедрениях с большим бюджетом. На рынке представлено ограниченное количество вакансий и резюме для этих продуктов, и порог вхождения в них выше, чем в Power BI. В то же время в России есть успешные внедрения Qlik и Tableau на тысячи пользователей, и эти продукты хорошо справляются с работой с большими объемами данных. Важно только понимать сильные и слабые стороны каждого из этих продуктов и их применимость к конкретному бизнесу.

Внедрение AW BI может осуществляться как самостоятельно заказчиком, так и с помощью партнера-интегратора.

Использование аналитики как стороннего сервиса не всегда удобно. Возможно вы разрабатываете свой продукт, но не готовы заняться разработкой визуализации и модуля аналитики с нуля. Возможно вы хотите развернуть аналитику на своем сайте, чтобы клиент сам регистрировался, загружал свои данные и проводил анализ внутри личного кабинета. Для этого вам необходима встроенная аналитика (Embedded).

Power BI и Tableau

Power BI и Tableau однозначно говорят, что для таких целей нужно покупать отдельный продукт Power BI Embedded или Tableau Embedded Analytics. Это недешевые решения за тысячи долларов за месяц, что сразу ограничивает их использование. Большинство проектов сразу становится нерентабельными. Имеется в виду, что вам нужно не просто опубликовать отчет в сети Интернет, а обеспечить публикацию отчетов согласно определенным доступам, с защитой данных, авторизацией пользователей и т. д.

Qlik

Qlik позволит в определенных случаях «выкрутиться» благодаря инструменту Mashup, который представляет собой визуализацию в программном коде и позволит программно задать создание визуализации внутри вашего приложения или сайта по API. В любом случае потребуется лицензирование Qlik Analytics Platform, который организует неограниченное количество подключений. Это также будет дорого, как и у конкурентов — Tableau и Power Bi, и в случае с неограниченными подключениями вариантов особо нет.

Analytic Workspace

Analytic Workspace специально разработан с учетом максимально бесшовной интеграции с другими информационными системами в качестве аналитического модуля через модель OEM. Лицензионный пакет включает специальные условия для публичных дашбордов, делая такой вариант использования BI-системы выгодным.

Интеграция Analytic Workspace в сторонние информационные системы обеспечивает ряд преимуществ:

• Снижение затрат на разработку аналитического модуля для вашего IT-продукта;
• Быстрый выход на рынок IT-продукта с широким набором функциональности, включая аналитику;
• Дополнительная монетизация IT-продукта путем продажи функциональности аналитики.

Упаднические настроения, которые возникли у некоторых профессионалов в связи с уходом из России зарубежных BI-вендоров, на сегодняшний день не очень оправданы. Основная причина некоторого отставания российских BI-систем, которое наблюдалось несколько лет назад и сейчас стремительно сокращается — в том, что зарубежные решения, в отличие от отечественных, развивались на глобальных рынках, где получали бОльшую ресурсную базу и разнообразие кейсов.

Существенным преимуществом зарубежных платформ до сих пор является наличие на рынке огромного числа специалистов — аналитиков, разработчиков — которые умеют работать с этими системами. И именно этот перекос мы стремимся изменить, создавая курсы для взращивания BI-специалистов, имеющих навыки работы с отечественными системами. И эта инициатива находит большой отклик: так, например, на наш курс «BI-аналитик» от Analytic Workspace Academy в первые 2 недели после запуска записались более 500 учеников.

В процессе перехода на импортозамещающую BI-систему у каждого клиента появляется возможность пересмотреть требования к BI-платформе. Крупные компании, имеющие опыт использования зарубежных решений, стремятся к тому, чтобы новая система была максимально похожа на привычную и имела такой же набор функций. В то же время разработчиков просят учесть недостатки функциональности предыдущей системы. Комбинирование этих подходов позволяет базироваться на реальных потребностях и отказаться от малоиспользуемых функций, предложенных предыдущим вендором.