Компания Atlassian перестроила платформу обнаружения инцидентов, сократив время обработки событий с 40 до менее чем 10 секунд. Новая архитектура базируется на Apache Kafka, Apache Flink в Kubernetes и OpenTelemetry, обрабатывая телеметрию более десяти облачных продуктов.
Предыдущая система на Node.js страдала от задержек и роста расходов с $120 тыс. до $230 тыс. в год. Переход на единое задание Flink позволил оптимизировать масштабирование. Теперь конвейер обрабатывает миллиарды событий в день, используя фильтрацию на уровне шины Kafka.
Для повышения надежности внедрено асинхронное обогащение данных с использованием паттернов bulkhead и circuit breaker. Использование HyperLogLog-скетчей позволило отслеживать уникальных пользователей с погрешностью около 1,5%, а идемпотентные записи обеспечили корректность данных при перезапусках.
Движок AutoHOT на языке Go работает в режиме active-active в двух регионах, автоматически создавая тикеты и оповещая дежурных. После внедрения системы доля обнаруженных реальных инцидентов на пике достигла 86%, при этом удалось избежать простоев системы из-за внешних зависимостей.
