«Диасофт» добавил в платформу Digital Q.DataFlows функционал для настройки правил контроля качества данных и low-code обработки данных

15.11.2023

Компания «Диасофт» развивает возможности технологической платформы для управления данными Digital Q.DataFlows. Платформа помогает раскрыть ценность данных организации: выявить взаимосвязи данных, контролировать их качество, выполнять процессы преобразования и обмена данных между системами.

Создан дизайнер правил контроля качества данных
В платформе Digital Q.DataFlows появился компонент Data Quality Rules Designer (дизайнер правил контроля качества данных). Новый компонент упрощает управление данными: он автоматически генерирует ETL-процесс контроля качества данных из шаблона на основании описанных в каталоге данных объектов. Качество данных можно отследить в метрике и детальном протоколе проверки.

Теперь в состав платформы входят три компонента:

  • Data Quality Rules Designer позволяет создавать проверки качества данных на основании шаблонов.
  • Data Streamer обеспечивает сбор и обработку информации (ETL) и позволяет интегрировать между собой различные информационные системы. Поддерживает сценарий как потоковой, так и пакетной обработки данных.
  • Data Catalog отвечает за сбор и ведение метаданных всех информационных источников.

Добавлена low-code обработка данных
В Digital Q.DataFlows реализована возможность группировать ETL-процессы и включать их в состав создаваемых приложений. Группировка необходима для объединения ETL-процессов и переноса данных в проект прикладного решения и дальнейшей отправки для автоматического развертывания на стендах.

В компоненте Data Streamer появилась возможность обрабатывать данные в low-code режиме на основании мета-описания объектов из каталога данных. Теперь ETL-процесс генерируется автоматически. Также можно настроить автозапуск ETL-процесса по расписанию.

Расширены возможности каталога данных
В компоненте Data Catalog расширен функционал генерации скриптов и захвата метаданных. Наборы изменений разбиты на атомарные части, что уменьшает шанс невыполнения их в базе данных. При запуске захвата метаданных из баз данных автоматически генерируется ETL-процесс, управляемый из Data Catalog, а также формируется детальный протокол, в котором можно отследить весь процесс захвата метаданных.

Улучшен дизайн интерфейса
Платформа Digital Q.DataFlows переведена на технологическую платформу Digital Q.Palette. Это позволило сделать дизайн интерфейса более комфортным для пользователей.

Для получения подробной информации заполните форму обратной связи.

Узнать подробности
#Digital Q.DataFlows, #новые функции, #управление данными

Возврат к списку