Исследователи из Калифорнийского университета в Беркли, включая аспиранта Цюяна Мана и представителей Принстона, представили бенчмарк FrontierCS 2. Он проверяет способность ИИ-агентов улучшать программный код из научных работ без доступа к самим статьям или интернету.

Набор состоит из 48 задач в 13 областях, включая робототехнику, базы данных и машинное обучение. Агенту предоставляется репозиторий, который нужно доработать за пять часов. Успех оценивается по рабочим метрикам и скрытым нагрузкам, о которых система не знает заранее.

В ходе тестирования 12 моделей лучшим результатом стали 58% успешных задач у Claude Opus 5.5. В ноябре в рейтинг добавили Claude Sonnet 5.5, показавшую результат 50%. При этом 16 из 48 задач оказались нерешенными для всех протестированных систем.

FrontierCS 2 развивает идеи оригинального бенчмарка, представленного на конференции ICML 2026. Новая версия ориентирована на реальные условия и работу с готовыми кодовыми базами. Для предотвращения устаревания данных авторы планируют добавить более 100 скрытых задач.