Исследователи из Университета Цинхуа и Moonshot AI представили бенчмарк TCSExam для оценки возможностей ИИ-агентов в области теоретической информатики. Тест включает 100 задач, разделенных на четыре направления: доказательство теорем на языке Lean, инженерные решения, создание конструкций и попытки доказательства открытых гипотез.
Модель GPT-6 Astra от OpenAI успешно доказала 70% предложенных ей теорем. При этом ни одна из протестированных моделей не смогла решить ни одной из 30 открытых гипотез, включенных в бенчмарк. Каждое решение проверялось ядром Lean или специализированными инструментами, что исключает засчитывание некорректных аргументов.
Бенчмарк представлен в двух версиях: полная на 100 задач и облегченная на 20. В полном тесте модель Kimi K3.1 Pro от Moonshot AI набрала 57,4 балла, доказав 38,3% теорем. В версии Lite модель Claude Opus 5.5 от Anthropic показала результат 72,3 балла, опередив GPT-6 Astra с ее 67,0 баллами.
Статья с описанием бенчмарка была опубликована на сервере препринтов arXiv в начале ноября 2026 года. Ранее, в августе 2026 года, OpenAI представила десять машиночитаемых доказательств, созданных внутренней моделью Astra, которая впоследствии была выпущена под названием GPT-6 Astra.
