Команда внедрила SRE-агент HolmesGPT в шести кластерах Kubernetes для автоматического анализа алертов. Агент собирает данные из метрик и логов, формируя гипотезы о причинах инцидентов. Инструмент работает только в режиме чтения, поэтому не выполняет автоматическое устранение неполадок.
Для интеграции с Alertmanager был разработан сервис holmes-alert-bridge. Он фильтрует алерты, проводит дедупликацию и ограничивает количество расследований для контроля расходов. Код сервиса открыт, а результаты анализа доставляются в Slack, Telegram или по почте.
Разбор одного инцидента занимает 2–3 минуты и стоит от 10 до 30 центов в зависимости от модели. В одном из контуров из 645 поступивших алертов до агента дошло 41: остальные были отсеяны настройками фильтрации и лимитами. Агент потребляет около 500 МБ оперативной памяти.
Агент использует набор инструментов для работы с Prometheus, VictoriaLogs и другими системами. По оценкам команды, гипотезы агента оказываются верными в 90–95% случаев. Использование агента помогает системно подходить к устранению повторяющихся проблем, так как каждый разбор имеет свою стоимость.
