Компания Google обновила бенчмарк Android Bench, предназначенный для оценки навыков ИИ в программировании под Android. В список тестируемых моделей вошли OpenAI GPT-6.1 Terra, Kimi K3.1 Pro и DeepSeek V4.1 Flash. Инструмент проверяет способность нейросетей создавать приложения, переносить код и выполнять другие инженерные задачи.
Модель Kimi K3.1 Pro с агентом kimi-code показала 24,0% успешных прохождений в 30 комплексных задачах. Средний уровень выполнения составил 82,3%, а затраченное время — 27,4 часа. Стоимость одного прогона бенчмарка для этой модели достигает $317,4.
По результатам тестов Kimi K3.1 Pro превзошла GPT 6 Astra, Claude Fable 5.1 и Gemini 4 Argon, однако уступила GPT-6.1 Terra, чей показатель прохождения составил 28,7%.
DeepSeek V4.1 Flash 1017, использующая агент opencode, продемонстрировала 17,3% успешных прохождений при среднем уровне выполнения 71,2%. Модель справилась с задачами за 12,0 часов, а стоимость одного запуска составила $9,9. Это делает модель эффективным решением для команд, чувствительных к бюджету и скорости отклика.
