21 апреля в Москве состоялся форум BIG DATA & AI 2022 – одно из крупнейших мероприятий в сфере больших данных, аналитики и искусственного интеллекта, организованное Издательством «Открытые системы».
На форуме выступили эксперты компании «Диасофт» – Богдан Стрелков, архитектор платформы Digital Q.Dataflows, и Антон Шебалкин, архитектор платформы Digital Q.AIML. Спикеры рассказали участникам форума о подходах компании к работе с большими данными, решениях «Диасофт» для управления данными и автоматизации разработки умных приложений.
Богдан Стрелков: «Данные – это ценнейший актив компании, накопленный опыт и главный драйвер новых возможностей бизнеса. В современных реалиях важно управлять растущим потоком информации, уметь его обрабатывать и фильтровать. Data driven подход позволяет принимать оптимальные управленческие решения и повышать эффективность бизнес-процессов».
Технологическая платформа для работы с данными Digital Q.Dataflows от «Диасофт» создана в микросервисной архитектуре и предоставляет широкий перечень инструментов для полного цикла работы с данными. Компонент DataCatalog, входящий в состав платформы, позволяет автоматизировать сбор метаинформации, обработку и хранение данных, отслеживать их взаимосвязи и потоки. DataStreamer обеспечивает сбор, обработку и загрузку информации (ETL) и позволяет интегрировать между собой различные информационные системы, поддерживает сценарии потоковой или пакетной обработки данных. Благодаря low-code инструментам пользователи могут проектировать и настраивать ETL-процессы без кодирования. Решение DataQuality обеспечивает анализ качества данных, мониторинг метрик качества и устранение ошибок в информации, поступающей из различных источников.
Антон Шебалкин: «После завершения процессов сбора, обработки и контроля качества данные используются для решения бизнес-задач компании. В настоящее время данные – это одна из основ процесса цифровой трансформации: в частности, с помощью механизмов AI/ML полученные массивы данных применяются для создания новых умных приложений, которые включаются в состав бизнес-процессов и значительно повышают их эффективность. Это позволяет легко масштабировать бизнес в условиях цифровой трансформации».
Для простой и быстрой разработки умных бизнес-приложений с применением искусственного интеллекта (AI) и машинного обучения (ML) в компании «Диасофт» разработана платформа Digital Q.AIML.
Для создания приложения с использованием AI/ML на первом этапе необходимо определить бизнес-задачу, сформулировать и проверить гипотезы о ценности, которую можно извлечь из массивов данных для ее решения. С помощью платформы Digital Q.Dataflows производится доставка, обработка и очистка необходимых данных, после чего начинается моделирование. Между моделированием и подготовкой данных существует обратная связь: если гипотеза не подтверждена, необходимо вернуться на предыдущий шаг подготовки данных и изменить их структуру.
Методология MLOps в основе платформы Digital Q.AIML обеспечивает непрерывный цикл обучения, тестирования, валидации, выпуска ML моделей. Развертывание моделей для их дальнейшего использования осуществляется в Docker-контейнерах, доступ к которым организован с использованием REST API. На основе моделей машинного обучения, признанных успешными в обработке, формируются приложения, которые впоследствии интегрируются в бизнес-процессы. Данные, на основе которых происходило первичное обучение модели, должны соответствовать данным, которые будут использоваться при работе приложения. Чтобы модели оставались актуальными в условиях постоянно изменяющихся данных, в состав платформы входит функционал мониторинга жизни моделей. На основе ряда параметров он позволяет выявлять моменты, в которые необходимо либо автоматизировать переобучение модели, либо изменить pipeline доставки данных.
Антон Шебалкин: «Таким образом, мы получаем автоматизированный конвейер сборки умных сервисов и продуктов для реализации самых разных задач в любых сферах: от чат-ботов, взаимодействующих с клиентами компании, до систем прогнозирования результатов любых проектов».