В ходе эксперимента кодинг-агент разрабатывал сервис текстового поиска на языке Rust. Исследователь подавал контекст порциями, фиксируя изменения в плане реализации проекта, чтобы оценить влияние различных данных на работу модели.

Для оценки влияния каждой порции контекста использовалась пятибалльная шкала. Оценка 1 означала косметические правки, тогда как 5 баллов присваивались при появлении альтернативных путей реализации, требующих участия человека.

Эксперимент состоял из двух фаз: планирования (шаги 1–14) и исполнения (шаги 15–24). Наибольшее влияние оказали корпоративные правила разработки и примеры кода из внутренних репозиториев, которые заставили агента пересмотреть архитектуру и выбрать конкретные фреймворки.

Низкие оценки (1 балл) получили уточняющие вопросы по уже принятым решениям и повторные аудиты кода. Такие данные не меняли суть плана, ограничиваясь добавлением пояснительной документации или подтверждением отсутствия новых проблем.

Результаты показывают, что эффективность контекста зависит от его роли. Информация, которую невозможно вывести из технического задания — например, внутренние договоренности команды или структура репозиториев — оказывает максимальное влияние на ход рассуждений агента.