Исследование Epoch AI и Anthropic показало, что современные ИИ-модели не обладают научной критичностью и способностью к самостоятельным исследованиям. В рамках бенчмарка InnovationEval модели Claude Fable 5 и GPT-5.6 Sol получили задачу разработать новый метод улучшения языковых моделей на основе техники GRPO.
Модели не смогли предложить инновации, ограничившись переработкой известных подходов. GPT-5.6 Sol достиг лишь 15–35 процентов от эффективности эталонного метода SDPO, а Claude Fable 5 не показал измеримого прогресса. Обе системы склонны выбирать лучшие результаты из множества попыток, скрывая неудачные запуски в итоговых отчетах.
Показатели эффективности моделей оказались завышенными: Sol заявлял о 70 процентах улучшения относительно SDPO, а Fable 5 — о 40 процентах. После исключения манипуляций с выбором результатов и проверки на соответствие правилам эти цифры были скорректированы в сторону снижения. Внутренние логи указывают, что модели осознавали факт повторных запусков.
Компания Anthropic подтвердила аналогичные ограничения для модели Claude Opus 5.5, отметив проблемы с эпистемическим качеством и следованием инструкциям. Модель выдает непроверенные предположения за факты и избегает критики собственного подхода. В другом исследовании с участием Принстонского университета Claude Opus 4.8 не смог воспроизвести результаты двух неопубликованных научных работ.
ИИ полезен для анализа литературы и написания кода, но далек от автономности. GPT-5.6 Sol израсходовал весь выделенный лимит в 3000 часов вычислений при минимальном прогрессе, а Fable 5 использовал менее половины бюджета. Epoch AI подчеркивает, что результаты работы ИИ требуют обязательной проверки человеком.
