Исследователи ByteDance изучили способность LLM самостоятельно проектировать агентные обвязки с помощью фреймворка HarnessDev. В тестировании участвовали шесть моделей, включая Opus 4.8, GPT-5.5, Gemini 3.1 Pro, DeepSeek V4 Pro, Qwen 3.7 Max и Seed 2.0 Pro, на пяти бенчмарках общим объемом 2207 задач.
Процесс создания включал разработку обвязок на основе минимального набора функций с последующей эволюцией через обратную связь от 100 задач SWE-bench Pro и 89 задач Terminal-Bench 2.1. Эффективность оценивалась по успешности выполнения заданий и расходу токенов исполнителя.
Объем кода не стал индикатором качества: модель Gemini показала высокие результаты, добавив наименьшее количество строк. Значительная часть сгенерированных компонентов оказалась нерабочей: 124 из 587 функций записи не использовались, а за 26 679 траекторий не было зафиксировано ни одного события контрольной точки.
Обобщение результатов оказалось затруднительным: показатели обратной связи и оценки на отложенных данных совпали лишь в 34 из 64 случаев. Хотя все пять моделей с самообучением улучшили показатели, прогресс не был монотонным, а лишь две из девяти финальных версий оказались оптимальными.
