Компания «Диасофт» совершенствует продукт «Оркестратор пайплайнов», который входит в состав решения «Фабрика данных» (Digital Q.DataFactory). Функциональные возможности продукта были расширены благодаря развитию действующих и реализации новых интеграций.
Расширение интеграции для работы с файлами
Объектное хранилище «S3 Архипелаг» и продукт «Взаимодействие с файловыми хранилищами» также входят в состав решения «Фабрика данных» и выступают в качестве надежных средств хранения и обмена файловыми ресурсами. Интеграция с ними позволяет:
- централизованно хранить файлы исходного кода пайплайнов обработки данных, в том числе с сохранением истории версий;
- получать доступ к иным файлам, расположенным в указанных хранилищах с целью дальнейшей обработки. При необходимости трансформации Excel, CSV и других файлов можно воспользоваться новым удобным API для их извлечения.
Бизнесу это поможет сократить трудозатраты на этапе обработки данных, а также снизить издержки на обслуживание программного обеспечения за счет использования надежных средств хранения исходного кода пайплайнов.
Новая интеграция с системой мониторинга
Была выполнена интеграция с платформой Digital Q.ELK для качественного мониторинга работы продукта «Оркестратор пайплайнов». Это критически важно в промышленной среде, поскольку продукт выполняет ответственную задачу по извлечению, трансформации и загрузке бизнес-данных в аналитические хранилища.
Своевременное выявление сбоев предотвращает ошибки в аналитических данных. Это позволяет компаниям принимать решения, опираясь на надежную информацию.
Интеграция для эффективной работы с данными
Интеграция с продуктами «Система распределенной обработки данных» и «Оператор системы распределенной обработки данных» (входят в Digital Q.DataFactory) дает возможность использовать средства анализа и трансформации больших объемов данных (BigData) в составе привычных пайплайнов. Таким образом прежнее удобство оркестрации сочетается с новыми мощными и гибкими инструментами.
Высокопроизводительные инструменты для трансформации и анализа данных позволяют сократить временные задержки между добавлением данных в разрозненные системы и появлением готовых к аналитике данных в хранилище. Чем короче эта задержка, тем точнее можно оценивать обстановку «здесь и сейчас» при принятии бизнес-решений.
«Оркестратор пайплайнов» разработан в микросервисной архитектуре, что обеспечивает его высокую масштабируемость, надежность, отказоустойчивость и легкость интеграции в современные цифровые экосистемы. Продукт является полностью импортонезависимым и соответствующим российскому законодательству.
Решение «Фабрика данных», в состав которого входит «Оркестратор пайплайнов» и другие продукты, предназначено для объединения разрозненных данных в единое хранилище, аналитики данных, автоматизации подготовки признаков ML-моделей, машинного обучения предиктивных моделей и визуализации данных.
Для получения дополнительной информации заполните форму обратной связи.