Исследователи протестировали ИИ-агентов на 50 неопубликованных задачах по теоретической физике. Модель GPT-6-Astra решила 49 из них, показав точность 98%. В ряде случаев ученые изначально принимали верные ответы ИИ за ошибки, но после консультаций с экспертами выяснили, что неточности содержались в их собственных расчетах.
В ходе сравнения Opus 5.5 справился с 46 задачами, Gemini 3.8 Flash — с 34, DeepSeek-V4.1-Flash — с 27, а GLM 5.3 — с 21. Средняя стоимость решения одной задачи для GPT-6-Astra составила менее $3. Единственное задание, с которым не справилась Astra, оказалось нерешаемым и для других моделей из-за неоднозначности условий.
Точность моделей оставалась стабильной даже при отключении доступа к интернету, что указывает на глубокое усвоение научной литературы в процессе обучения. Тем не менее авторы отмечают, что ИИ пока не способен самостоятельно формулировать значимые научные вопросы или определять направление исследований, несмотря на успехи в решении конкретных задач.
