QA-инженер применил систему из трех AI-агентов для аудита базы из 2000 тест-кейсов. Целью проекта стала очистка документации от дублей, устаревших проверок и поиск пробелов в покрытии без необходимости ручной переработки каждого сценария.
В архитектуре использовали Python, CrewAI и модель GigaChat. Роли распределили так: аналитик Федя искал пробелы, автор Серёга готовил описание шагов, а рецензент Саша проверял результат. Документацию разбивали на фрагменты по 400 символов для точного поиска через ChromaDB.
В процессе работы возникли проблемы с галлюцинациями: агенты добавляли неподтвержденные условия. Для решения задачи разработчик ограничил свободу модели, перейдя к программной сборке полей кейса из проверенных фактов, вместо генерации текста с нуля.
Для контроля качества внедрили автоматические проверки: система отслеживала уникальность ID и вердикты рецензента. В одной из релизных сборок конвейер успешно обработал 178 тестов. Дубликаты выявляли путем сравнения содержания, а не только заголовков.
Для оптимизации длинных прогонов базу разбили на пакеты с контрольными точками. Несмотря на автоматизацию, финальная приемка осталась за человеком, так как рецензент мог одобрять логически убедительные, но фактически неверные сценарии.
