Компания «Диасофт»» анонсирует выход продукта «S3 Архипелаг» – российского S3-совместимого хранилища, созданного для работы с петабайтами данных в архитектурах Data Lakehouse, аналитических системах и для консолидации разрозненных файловых хранилищ.
Продукт построен в высокопроизводительной архитектуре с отдельным масштабируемым слоем метаданных, что решает ключевую проблему деградации при росте числа файлов. Для объектного доступа реализован S3-совместимый API и файловые интерфейсы (S3, FUSE, WebDAV, HDFS, gRPC, REST) для работы на разных операционных системах.
Ключевые преимущества «S3 Архипелаг»:
- Оптимизация использования в составе Data Lakehouse, интеграция с Digital Q.DataFactory.
- Линейная масштабируемость при работе с объектами произвольного размера – от сотен мегабайт до многотерабайтных объектов
- Поддержка сильной согласованности.
- Поддержка «теплых» и «холодных» типов данных через гибкую иерархию.
- «Горячая» репликация и перебалансировка.
- Отказоустойчивость без SPOF.
- Низкие требования к ресурсам.
- Интеллектуальная оптимизация мелких объектов, позволяющая снизить совокупную стоимость владения (TCO) инфраструктурой хранения мелких файлов на 40-60%. За счет разделения слоев метаданных (Filer) и данных (Volume) потребляет в 2-3 раза меньше CPU и RAM, чем Ceph.
- Управление временем жизни данных (TTL).
Два типа хранилища в одном
«S3 Архипелаг» заменяет два разнородных хранилища (объектного – для аналитики, файлового –для приложений) путем объединения их на единой платформе. Это сокращает затраты на оборудование и лицензии, а также операционные расходы на администрирование, мониторинг и бэкап.
Надежное хранение данных
Продукт обеспечивает отказоустойчивое хранение критичных данных, включая огромные коллекции мелких файлов с помощью оптимизированной архитектуры («Master-Volume-Filer»). Такая архитектура обеспечивают линейную масштабируемость метаданных и позволяет хранить десятки и сотни миллиардов файлов без деградации производительности на операциях листинга и поиска.
Масштабирование «на лету»
«S3 Архипелаг» обеспечивает «горячее» масштабирование без перерывов: емкость и вычислительные ресурсы подключаются в работающий кластер простым добавлением узлов. Система автоматически перераспределяет данные для оптимальной нагрузки.
Высокая производительность
Чтобы подтвердить готовность «S3 Архипелаг» к работе с критичными и высоконагруженными системами, специалисты «Диасофт» провели серию тестов на эталонном стенде в среде Astra Linux Special Edition. Конфигурация из шести узлов (8 ядер, 32 GB RAM, NVMe-диски и сеть 10GbE) показала, что хранилище способно выдержать более 45 000 операций записи в секунду, сохраняя стабильное время отклика. Это в 2,4 раза выше, чем показал Ceph RGW в аналогичных условиях на том же оборудовании.
Такой результат – гарантия, что платформа справится с пиковыми нагрузками в реальном проекте. Например, в архитектуре Data Lakehouse, когда сотни потоков данных одновременно пишут сырую информацию в Bronze-слой, а движки Spark и Trino выполняют сложные запросы к Silver и Gold-слоям. Высокая производительность «S3 Архипелаг» позволяет наращивать объемы хранилища, просто добавляя серверы в кластер, без деградации скорости и сюрпризов при масштабировании.
Отказоустойчивость
Используется гибридная схема устойчивости. Для «горячих» данных настраивается многократная репликация для скорости, для «холодных» архивов применяется стирающее кодирование (Erasure Coding) с экономией дискового пространства до 40% по сравнению с трехкратной репликацией при сохранении сопоставимого уровня отказоустойчивости.
Защита информации
Продукт обеспечивает выполнение требований КИИ, ИСПДн и ГИС за счет встроенных механизмов: сквозное шифрование (AES-256, TLS 1.3), гранулярное управление доступом с интеграцией LDAP/AD/Kerberos, Object Lock для защиты от удаления и детальный аудит всех операций.
Планы развития продукта
- Экстремальная оптимизация для Apache Iceberg и Hudi с целью повысить эффективность работы с фоновыми процессами, которые генерируют тысячи операций с файлами, снизив нагрузку и ускорив выполнение;
- Углубленная интеграция с российской СУБД Digital Q.DataBase;
- Автоматизация жизненного цикла данных с использованием AI для прогнозирующей оптимизации.
Для получения дополнительной информации заполните форму обратной связи.
Узнать подробности