Разработчики Kodik сравнили эффективность своей агентной оболочки с решениями Codex, OpenCode и DeepSeek Harness на бенчмарке DeepSWE v1.1. Тестирование включало 113 задач по программированию на TypeScript, Go, Python, JavaScript и Rust в 91 репозитории. Во всех четырех сценариях Kodik показал большее число успешно решенных задач.
При использовании модели GPT-6 Luna агент Kodik решил 66 задач против 44 у Codex, что на 50% больше. Стоимость одного успешного решения составила $0,172 для Kodik против $0,228 для Codex, что позволило сэкономить около 25%. При этом Kodik расходовал больше токенов и времени на каждую попытку.
В паре с моделью GPT-6.1 Sol результат Kodik составил 83 решенные задачи против 81 у Codex. Стоимость успешного решения для Kodik оказалась на 19% ниже: $0,993 против $1,229. Агент Kodik использовал меньше входных токенов, но совершал больше вызовов инструментов в процессе работы.
С моделью DeepSeek V4.1 Flash 1017 Kodik решил 86 задач, а DeepSeek Harness — 78. Kodik работал быстрее: 17,60 минуты против 20,95 минуты в среднем. Стоимость одного успешного решения составила $0,393 для Kodik и $0,373 для DeepSeek Harness, при этом время на успешное выполнение сократилось почти на 24%.
Сравнение с OpenCode на базе GLM 5.3 Flash показало 73 успешные задачи у Kodik против 67 у конкурента. Стоимость успешного решения составила $0,595 против $0,763, что на 22% дешевле. Однако время на успешное решение у Kodik было выше: 69,27 минуты против 64,33 минуты у OpenCode.
Авторы отмечают, что качество агентной оболочки критически важно для менее мощных моделей, которые сильнее зависят от управления контекстом и инструкциями. Результаты могут быть ограничены особенностями инфраструктуры проверки DeepSWE v1.1, где ранее были выявлены проблемы с корректностью оценки в 23 из 113 задач.
