Дэн Лу провел эксперимент по написанию кода и тестов для декодера Zstd с помощью ИИ-агентов. В исследовании использовались модели Codex с GPT-5.6 Sol, всего проведено по 80 прогонов для 26 различных условий. Агенты работали в изолированных контейнерах без доступа к сети, опираясь на спецификации RFC.
Результаты показали, что тесты часто пропускали ошибки из-за неудачного выбора входных данных. Например, при проверке разворота строки на палиндромах или при использовании одинаковых потоков Хаффмана тест оставался «зеленым» даже при наличии бага, так как симметричные данные скрывали некорректную логику реализации.
Дифференциальное тестирование также не дало значимых преимуществ: агенты часто повторяли одни и те же ошибки в разных реализациях. Фаззинг случайными байтами приводил к ранним отказам декодера, и лишь в 10 из 160 прогонов агенты использовали структурированные данные, что позволило выявить реальные дефекты в половине случаев.
Автор рекомендует проверять чувствительность тестов через мутационное тестирование: вносить контролируемые изменения в код и убеждаться, что тест на них реагирует. Важно заранее определять, какую именно ошибку должен ловить тест, выбирать соответствующие входные данные и проверять эталонные значения на соответствие контракту.
