Исследователи из Шаньдунского университета проанализировали влияние инструментов-обвязок (harnesses) для ИИ-агентов, таких как Claude Code, OpenCode и mini-SWE-agent, на качество написания кода. Выяснилось, что смена обвязки дает результат, сопоставимый с повторным запуском той же конфигурации, а разница в показателях часто укладывается в рамки статистической погрешности.
В тестах использовали пять моделей, включая Qwen3.6, Qwen3.8, Deepseek-V4-Flash, GLM-5.3-Flash и HY4-Preview. Их проверяли на 45 сложных задачах и наборе из 447 заданий из бенчмарка SWE-bench Verified. Заявленные разработчиками преимущества одних обвязок над другими оказались статистически незначимыми и сравнимыми с обычным случайным разбросом результатов.
При минимальном влиянии на качество работы выбор обвязки существенно меняет стоимость использования. Из-за разного объема системных промптов и описаний инструментов, которые отправляются на каждом шаге, затраты на одну задачу могут различаться в три раза. Например, системный промпт Claude Code занимает около 16 600 токенов, тогда как у mini-SWE-agent — менее 1 000.
OpenCode показал стабильное отставание от конкурентов до девяти пунктов на большом наборе задач, что авторы связывают с ограничениями по выводу и жесткими лимитами времени. Исследователи отмечают, что текущие бенчмарки не учитывают фактор случайности, и рекомендуют публиковать результаты нескольких повторных запусков для оценки реальной эффективности инструментов.
