Компания Avito внедрила платформу для хаос-тестирования, позволяющую выявлять уязвимости систем в продакшене. Решение объединяет open-source инструмент LitmusChaos и собственный оркестратор Kratos, разработанный командой TestOps на языке Go.
Использование стандартного LitmusChaos покрывает около 22% инцидентов, работая на уровне подов. Интеграция с Kratos позволила расширить возможности до 41% покрытия, добавив сложные сценарии, такие как перевыборы мастера в базах данных MongoDB и Redis.
Ранее для анализа 977 отчетов об инцидентах (LSR) применялась LLM-модель. Она оценивала воспроизводимость сбоев и формировала «паспорта устойчивости» для 408 сервисов. На текущий момент методология анализа сохранена, несмотря на временную приостановку работы пайплайна.
В автоматическом режиме сейчас работают три сценария: смена мастера БД, рост сетевых задержек и проверка корректной деградации сервисов. Смена мастера является наиболее частым тестом, составляя 95,6% от всех автоматических прогонов в продакшене.
Приоритетным направлением автоматизации выбрана сеть, так как один сетевой тест позволяет имитировать сразу несколько типов сбоев. Разработка собственных сценариев направлена на предотвращение повторных инцидентов путем их автоматического включения в библиотеку тестов.