Новый бенчмарк TasteVal оценивает способность ИИ-систем самостоятельно проектировать эксперименты и интерпретировать их результаты — навык, который P-Zero Research называет «исследовательским вкусом». Тест включает восемь задач, таких как выбор данных для обучения, дообучение моделей и защита от состязательных промптов, с использованием одного GPU Nvidia H100.
Согласно данным P-Zero Research, исследовательский вкус ведущих ИИ-моделей удваивается примерно каждые три месяца, начиная с декабря 2025 года. Лучшая модель, Opus 5.5 от Anthropic, достигла показателя эффективности в 2,3 раза выше, чем у экспертов, выполнив задачи с использованием менее половины вычислительных ресурсов.
Контрольную группу составили 24 эксперта из OpenAI, Google DeepMind, Nvidia и Microsoft Research. Каждый запуск эксперимента ограничивался 40 часами работы GPU или 120 часами реального времени. Стоимость одного прогона модели составила примерно одну тридцатую от средних затрат на работу человека-эксперта.
Сооснователь Anthropic Джек Кларк пересмотрел прогноз появления систем рекурсивного самосовершенствования ИИ, сместив ожидаемую дату с 2028 на 2027 год. Это решение основано на прогрессе в математических задачах и результатах бенчмарка TasteVal, хотя авторы признают, что тест охватывает лишь часть научной деятельности.
Исследования показывают, что ИИ-агенты могут предлагать до 55 процентов методологий, однако люди принимают более 85 процентов итоговых решений. В индустрии продолжается дискуссия о том, насколько быстро модели смогут перейти от выполнения отдельных задач к самостоятельному планированию долгосрочных исследований.
