Исследователи из Google Cloud AI Research и ряда университетов представили метод Regularized Recursive Self-Improvement (RRSI), который предотвращает переобучение ИИ-агентов на тестовых задачах. Технология оптимизирует не саму языковую модель, а «обвязку» (harness) — систему промптов, инструментов и памяти, управляющую поведением агента.
Метод RRSI борется с запоминанием бенчмарков, из-за которого агенты показывают низкие результаты на новых задачах. Система ограничивает количество изменений в коде обвязки с помощью сокращающегося бюджета правок и использует критический анализ, чтобы отсеивать решения, привязанные к конкретным тестам или избыточно усложняющие алгоритм.
В ходе тестирования на восьми бенчмарках с использованием модели Claude Opus 4.8 метод RRSI показал прирост до 14,1 балла на тренировочных задачах и до 4,7 балла на новых. При этом потребление токенов во время работы сократилось на 30 процентов по сравнению с нерегулируемыми методами оптимизации.
Исследование показало, что обвязки, оптимизированные одной моделью, повышают эффективность других. Так, настройка, созданная с помощью Gemini 3.5 Flash, увеличила точность Gemini 3.1 Flash Lite с 11,2 до 14,6 балла. Исходный код проекта опубликован на платформе GitHub.
