Google обновила рейтинг Android Bench, предназначенный для оценки эффективности ИИ-моделей в разработке под Android. Тестирование учитывает специфические сценарии и лучшие практики программирования, а также включает среднюю стоимость вызова API для удобства выбора разработчиками.
В обновлении от 26 октября добавлены результаты тестирования новых моделей. Лидером рейтинга стала Claude Sonnet 5.5 с показателем прохождения 40% и завершения 80,9%. Второе место занимает Claude Opus 5.5, добавленная в начале октября.
Модель GPT-6.1 Sol от OpenAI показала 29,3% прохождения и 82,8% завершения при стоимости вызова $99,50. Для сравнения, стоимость вызова лидирующей модели Claude составляет $1 574,90, что значительно выше показателей конкурентов.
Собственная разработка Google, модель Gemini 4 Argon, заняла лишь пятое место, уступив другим моделям и даже Claude Fable 5.1. Результаты Gemini 4 Argon составили 21,3% прохождения и 81,8% завершения при средней стоимости вызова $267,70.
