Команда KodaCode провела сравнение агентных оболочек, которые позволяют LLM взаимодействовать с файлами и тестами. В эксперименте с моделью DeepSeek V4 Flash участвовали Koda, OpenCode, KiloCode, Claude Code и Ouroboros. Исследование показало, что реализация агентного цикла напрямую влияет на итоговый результат при фиксированной модели.
Для оценки эффективности был использован «Индекс Кода», включающий 261 задачу из трех категорий: проектирование, реализация ПО и анализ данных. В бенчмарк вошли 125 задач из пяти источников. Агенты работали в изолированных песочницах без доступа к сети, а решение засчитывалось только при прохождении автоматических тестов.
Оболочка Koda показала лучший результат, опередив ближайшего конкурента на 2,7 процентного пункта на уровне Max. Компания также обновила собственные модели: Koda Base теперь базируется на Qwen 3.8 Flash 125B, а Koda Pro — на GLM 5.3. Koda Pro продемонстрировала наивысший показатель в 54,3%.
Модель Koda Base, доступная бесплатно с дневными лимитами, набрала 49,5%. Средняя расчетная стоимость выполнения одной задачи для нее составляет 11,9 ₽. Предыдущая версия Koda Base основывалась на модели Qwen 3.6-35b, которая, по оценке разработчиков, часто теряла цель при выполнении длинных цепочек действий.
