Новости

Analytic Workspace релиз 1.28: ETL, работа с переменными и новая лицензионная политика

Модернизация и улучшения в релизе 1.28 коснулись практически всех разделов системы: модели, виджеты, информационные панели, администрирование и общие настройки.
НОВАЯ ОПЦИЯ
Добавлена поддержка чтения данных из QVD-файлов
QVD (QlikView Data) — это формат файла, содержащий в себе таблицу данных, экспортированных из платформ Qlik Sense или QlikView.
МОДЕЛИ

Мета полей моделей приведена к нижнему регистру
Все метаданные полей моделей теперь записываются с маленькой буквы. Также проведены работы по унификации регистра в метаданных полей моделей, чтобы можно было использовать параметризованные запросы в виджетах.
Важно! В некоторых случаях, для восстановления работы виджетов и панелей, потребуется повторная синхронизация моделей.
В функционал кастомизации синхронизации модели добавлена возможность удаления данных
Реализована функция pusher. delete_rows для удаления записей текущего инкремента из Clickhouse.

Реализована очистка внутренних файлов ETL при полном удалении модели
Добавлена возможность полного удаления всех «внутренних» файлов (статистика, информация о битых объектах, etl-скрипты и др.) модели. Эти функциональные возможности будут применяться при очистке удаленных объектов из «Корзины».

Добавлена возможность подключения ETL-блоков из внешнего репозитория
Новая возможность подключения ETL-блоков из внешнего репозитория позволяет использовать сторонние модули для извлечения, преобразования и загрузки данных. Это повышает гибкость и масштабируемость систем обработки данных. Переменная среды ETL_BLOCKS_REPOSITORY указывает на внешний источник, из которого могут загружаться ETL-блоки. Это упрощает интеграцию и расширение функциональности ETL-систем.

Реализовано управление количеством ядер для spark-задач по синхронизации моделей
Добавление переменной ETL_SPARK_MAX_CORES позволяет точно управлять количеством ядер, которые каждая Spark-задача может использовать на ETL-сервере, таким образом, помогая оптимизировать использование ресурсов. Например, при установке ETL_SPARK_MAX_CORES=2, любая запускаемая Spark-задача будет ограничена использованием двух ядер, что может быть полезно для предотвращения перегрузки системы и обеспечения более справедливого распределения вычислительных мощностей между несколькими задачами.
ВИДЖЕТЫ

Добавлена возможность повторного использования переменных
С выходом версии 1.28 при работе с виджетами можно использовать ранее созданные переменные. Для добавления переменной в виджет нажмите на кнопку справа от поисковой строки (или справа от блока «Переменные») и в выпадающем списке в блоке «Переменная» выберите пункт «Выбрать из существующих».
Появилась функция, позволяющая поделиться переменной
Для настройки общего доступа к переменной пользователь должен быть автором этой переменной или иметь права на ее администрирование.
Добавлен новый тип переменной «Редактируемая»
Эти переменные дают возможность проводить анализ типа «что если», это позволяет оценить, как изменение значений влияет на результаты формул прямо при просмотре виджета. Редактируемые переменные могут быть представлены на виджете в виде поля ввода, списка, переключателя или календаря, предоставляя пользователям гибкость в настройке и анализе данных.
Пример работы редактируемой переменной с типом отображения «Переключатель» — при установке переключателя на значение «Выручка» происходит расчет показателя по сумме выручки за каждый год, при установке переключателя на значение «Количество» — рассчитывается общее количество заказов за каждый год.
Внедрены параметризованные запросы в Cube, и изменена мета полей расчетных агрегатов
Для реализации нового типа переменных добавлены параметризованные запросы в Cube и миграции по унификации регистра в мете полей виджетов.
Важно! В некоторых случаях, для восстановления работы виджетов и панелей, потребуется повторная синхронизация моделей, перерегистрация кубов и корректировка формул агрегатов.
Важно! Если в формулах агрегатов или в SQL-фильтрах виджетов были использованы поля модели, в наименовании которых ранее использовались заглавные буквы, необходимо вручную исправить их наименования — привести все буквы в наименованиях таких полей к нижнему регистру.
ИНФОРМАЦИОННЫЕ ПАНЕЛИ
Добавлен системный виджет «Изображение»
С появлением данного виджета больше нет необходимости через html или фон контейнера вставлять картинку на дашборд. Системный виджет «Изображение» позволяет разместить на панели логотипы, фоны и другие изображения.

Появился системный виджет «Переменные»
Новый виджет позволяет разместить на панели редактируемую переменную, используемую на виджетах, как самостоятельную единицу, после размещения данная переменная скрывается на всех виджетах, где была выведена.
АДМИНИСТРИРОВАНИЕ
Реализовано API для очистки «Корзины» от объектов, помеченных к удалению
Техническому администратору доступен метод для очистки хранилища от неактуальных данных пользователей.

Расширены возможности лицензионной политики
Лицензионная политика стала более гибкой. Теперь лицензии Системы могут включать ограничения на количество активных объектов, таких как источники данных, модели, виджеты и панели. Такое лицензирование необходимо, когда Analytic Workspace встраивается в другой ИТ-сервис.
ДОПОЛНИТЕЛЬНЫЕ УЛУЧШЕНИЯ

  1. Устранена недоступность S3 хранилища после запуска ML сервисов на дефолтных значениях переменных;
  2. Исправлены неточности в работе ручной публикации виджетов;
  3. Доработано сохранение пароля при просмотре объекта по публичной ссылке;
  4. Доработан метод GET /export;
  5. Скорректирован просмотр объекта по публичной ссылке, при использовании значений редактируемых переменных из модели];
  6. Функционал по передаче параметров и событий перенесен на просмотр объектов по публичным ссылкам;
  7. Устранены серверные неточности, обнаруженные в ходе тестирования версии 1.27;
  8. Добавлена возможность регулировки отображения информации о сайте на странице авторизации;
  9. Добавлен вывод ошибки получения данных вместо validation error for ModelObjectTestData log при запуске ETL-блока;
  10. Устранена бесконечная загрузка виджета при выборе полей в фильтре-справочнике;
  11. Добавлена проверка на нахождение объектов, доступных группе пользователей, в личном каталоге при удалении пользователя из группы пользователей;
  12. Скорректировано отображение виджетов на информационной панели с учетом наследуемых прав доступа от каталогов;
  13. Добавлены обработчики для типов полей bool и LowCardinality при чтении данных из БД Clickhouse;
  14. Добавлен обработчик на заглавные буквы в расчетных агрегатах виджета.
2024-07-29 15:20 Релизы