Группа Arenadata представила версию 1.4.0 модуля ADH Cloud для платформы Arenadata Hyperwave. Основное внимание в релизе уделено работе со Spark в среде Kubernetes: разработчики добавили специализированный оператор, планировщик задач и удаленный shuffle-сервис.
Для управления очередями и распределения ресурсов между командами в состав модуля интегрирован планировщик YuniKorn с поддержкой аутентификации Kerberos, SPNEGO и LDAP. Компонент Celeborn позволяет переносить высоконагруженные операции с локальных дисков узлов во внешние хранилища, включая HDFS, Ozone и S3.
Платформа получила Spark History Server для анализа логов и метрик завершенных приложений. Мониторинг инфраструктуры теперь поддерживает интеграцию с VictoriaMetrics и Prometheus через инструменты PodMonitor, ServiceMonitor, VMPodScrape и VMServiceScrape, что позволяет отслеживать производительность на единой панели.
В обновлении усилены механизмы безопасности за счет централизованного хранения секретов Kubernetes для всех компонентов платформы. Также расширены возможности Arenadata Cloud CLI: новая команда adc list обеспечивает быстрый доступ к состоянию инфраструктуры без использования сторонних инструментов.
