Компания Artificial Analysis обновила свой индекс Intelligence Index, что привело к изменению позиций ряда нейросетей. Модель Kimi K3.1 Pro, ранее занимавшая четвертое место, опустилась на девятую строчку. Теперь она уступает восьми закрытым моделям в пятой версии рейтинга.
Разрыв в показателях между открытыми моделями и лидерами рейтинга увеличился до 12 баллов, тогда как ранее он составлял 3 балла. Модель Grok 4.7 также потеряла 12 баллов в обновленном индексе, что отражает изменение методологии оценки.
Впервые 60 процентов индекса основаны на закрытых тестовых наборах. Это решение направлено на борьбу с практикой «бенчмакссинга», когда модели обучают специально под известные вопросы. Исследователь Нейтан Ламберт отмечает, что успехи в обучении с подкреплением часто имитируют тесты, требуя инфраструктуры, доступной не всем лабораториям.
Использование закрытых тестов ограничивает возможность сторонних наблюдателей выявлять ошибки в промптах. В рамках подготовки новой версии индекса компании Artificial Analysis пришлось пересмотреть и исправить ряд неоднозначных и некорректных вопросов в тесте AA-Omniscience.
