Компания «Диасофт» разработала продукт «MPP-система выполнения аналитических запросов», который вошел в состав решения «Фабрика данных» (Digital Q.DataFactory). Продукт предназначен для выполнения сложных аналитических SQL-запросов к большим объемам данных с откликом в режиме реального времени.
Илья Шуйков, руководитель продукта «Фабрика данных» компании «Диасофт»: «Традиционные системы выполнения запросов к озерам данных, построенные на базе Trino/Presto, не обеспечивают отклика в режиме реального времени. Бизнесу приходится ждать длительное время для получения отчетов по терабайтам данных, что усложняет оперативное принятие решений. Дополнительные трудности связаны с разрозненностью данных между озерами и сторонними СУБД – их физическое перемещение в единое хранилище для аналитики требует значительных ресурсов и нарушает актуальность данных. При этом большинство открытых MPP-решений не удовлетворяют корпоративным требованиям безопасности, не имеют встроенного SSO, требуют ручной интеграции с ETL- и BI-инструментами. В MPP-системе от «Диасофт», которая может служить аналогом ClickHouse или оригинального StarRocks, эти проблемы решены. Клиенту больше не нужно писать «костыли» для интеграции пайплайнов загрузки и визуализации – все работает «из коробки», обеспечивая бизнес-аналитикой в реальном времени».
Функциональные возможности и преимущества MPP-системы
- Векторизованное выполнение и MPP-архитектура: обработка данных колонками и параллельное исполнение задач обеспечивают масштабируемость производительности при росте объемов данных.
- Глобальная оптимизация запросов: интеллектуальный построитель плана запроса создает оптимальные маршруты выполнения даже для сложнейших многотабличных JOIN'ов.
- Материализованные представления: автоматическое ускорение частых аналитических запросов.
- Прямой запрос к озерам данных: высокая скорость выполнения SQL-запросов напрямую к данным в Apache Iceberg, Hive, Hudi, а также к реляционным СУБД без необходимости их копирования во внутреннее хранилище.
- Интеграция с Digital Q.DataFlows: оркестрация пайплайнов и потоковая загрузка данных в MPP-движок в реальном времени.
- Интеграция с Digital Q.Sensor BI: прямое подключение дашбордов к MPP-хранилищу с минимальной задержкой.
Решение «Фабрика данных», в состав которого входит MPP-система, предназначено для объединения разрозненных данных в единое хранилище, аналитики данных, автоматизации подготовки признаков ML-моделей, машинного обучения предиктивных моделей и визуализации данных.
Для получения дополнительной информации заполните форму обратной связи.
