Бенчмарк TheoPhysEval, представленный 9 октября 2026 года, оценивает способность ИИ-агентов решать 50 неопубликованных задач по теоретической физике. В исследовании, подготовленном 35 авторами из ICTS, Google DeepMind и других организаций, тестировались готовые модели в 11 областях, включая квантовую теорию поля и динамику жидкостей.
Тестирование проходило в двух режимах: с доступом к интернету и без него. Модель GPT-6-Astra решила 49 из 50 задач в режиме с доступом к сети, стоимость выполнения составила $116.28. В изолированном режиме результат модели снизился до 46 решенных задач.
Модель Opus 5.5 показала результат 46 из 50 в обоих режимах тестирования. Ни одна из протестированных систем не смогла решить одну из предложенных задач. В ходе работы ИИ-агенты помогли выявить и исправить ошибки в некоторых исходных решениях, написанных людьми.
Авторы отметили, что использование неопубликованных задач исключает возможность простого воспроизведения данных из обучающей выборки. Исследование сфокусировано на автономном решении задач, однако не затрагивает творческий процесс постановки новых научных вопросов.
