Data Operations Dashboard — это кастомный инструмент мониторинга для платформ Data Lakehouse на базе Spark, Iceberg и Airflow. Решение объединяет данные из GitLab, Trino и Airflow, позволяя централизованно отслеживать состояние пайплайнов без использования тяжелых корпоративных систем.
Инструмент визуализации Data Lineage, построенный на Python и NetworkX, отображает логические связи и текущий статус DAG. Это помогает инженерам оперативно находить первопричины задержек, анализируя цепочки зависимостей и состояние задач в реальном времени.
Gantt-дашборд визуализирует выполнение различных DAG на единой временной шкале. Он позволяет выявлять периоды пиковых нагрузок, отслеживать время ожидания сенсоров и фактические расчеты, а также контролировать соблюдение SLA для разных слоев данных.
Модуль Operational Health обеспечивает мониторинг инцидентов, включая сбои, зависшие задачи и риски нарушения SLA. Система предоставляет прямые ссылки на Kibana и Spark History Server, сокращая время на диагностику и устранение технических ошибок.
