Исследователи из Стэнфордского университета и Google DeepMind представили систему TURTLE для автоматического усложнения бенчмарков ИИ. Работа, описанная в статье от 19 октября 2026 года, направлена на тестирование способности ИИ-агентов использовать программное обеспечение для выполнения многошаговых задач.
Система TURTLE включает три взаимодействующих агента: пропозер на базе AlphaEvolve, решатель и генератор обратной связи. Алгоритм модифицирует задачи, добавляя фильтры или дополнительные этапы, сохраняя при этом их решаемость. Успешной считается задача, которую решатель выполняет с вероятностью не менее 50% в 10 попытках.
Тестирование проводилось на бенчмарках AppWorld, τ-Bench и AutomationBench с использованием модели Gemma 4 31B-it. В AppWorld доля сложных задач выросла на 165% по сравнению с исходными 19,8%. Почти все из 735 обновленных задач показали уровень успеха решателя в диапазоне от 40% до 60%.
TURTLE автоматизирует процесс создания тестов, снижая затраты времени исследователей. Система поддерживает сложность задач в заданном диапазоне, что позволяет точнее фиксировать прогресс моделей по мере их совершенствования, избегая эффекта «потолка» или «пола» в результатах тестирования.
