Программирующие ИИ-агенты часто создают тесты, которые проходят успешно, так как содержат те же логические ошибки, что и основной код. Доверие к «зеленым» результатам без проверки требований приводит к закреплению багов, особенно в граничных условиях, где модель могла неверно истолковать задачу.
В июле 2026 года вышел препринт Майкла Константиноу, Флориана Тамбона и Майка Пападакиса, сравнивший генерацию тестов пятью моделями на трех Python-бенчмарках. Выяснилось, что при наличии дефектной реализации модели обнаруживали около 14% отказов, а при генерации из свежего контекста — около 25%.
Компания Meta применяет систему ACH, которая генерирует имитации отказов, обходящие текущие тесты, и заставляет модель писать новые проверки. При тестировании Android Kotlin выяснилось, что 277 из 571 «антимутантного» теста (около 49%) не добавили покрытия кода, дублируя уже существующие проверки.
Отчет Google от 2018 года предлагает избирательный подход к мутационному тестированию: ограничение числа мутантов и фокусировку на измененных участках кода. Это позволяет экономить вычислительные ресурсы и время разработчиков, которые тратятся на анализ бесполезных отказов и избыточных отчетов.
Для повышения качества тестирования авторы рекомендуют требовать от агентов отчеты с демонстрацией поведения, от которого страхует тест, и указанием источника ожидаемого ответа. Важно проверять, отклоняет ли тест заведомо ошибочные версии кода, чтобы избежать закрепления логических ошибок в бизнес-правилах.
