Google Research представила руководство по фреймворку RRSI, который автоматизирует развитие агентов ИИ, включая настройку промптов, инструментов и памяти вокруг фиксированной модели. Система использует Claude Opus на Vertex AI для создания правок, которые затем проходят проверку в Docker-контейнерах.
Оценка кандидатов базируется на двух показателях: S (средняя награда за задачи) и C (среднее потребление токенов). Чтобы исключить манипуляции, RRSI засчитывает сбои при выполнении задач как нулевой результат. Это не позволяет агентам улучшать показатели за счет отказа от выполнения сложных заданий.
RRSI использует процесс калибровки для определения «шумового диапазона» (delta), который отделяет реальный рост эффективности от случайных колебаний. Изменения, не превышающие этот порог, считаются статистически незначимыми, что предотвращает принятие правок без доказанного улучшения результатов.
Процесс отбора кандидатов опирается на строгие правила. Система отклоняет агентов, чьи показатели ниже исторического максимума за вычетом шумового диапазона. Кандидаты с повышенным расходом токенов обязаны демонстрировать соразмерный прирост эффективности, при этом более дешевые, но чуть менее производительные агенты могут быть приняты, если они попадают в шумовой диапазон.
Для обеспечения стабильности фреймворк использует «лучший результат в истории» в качестве якоря, который только растет. Это предотвращает деградацию системы через цепочки замен. Кроме того, бюджет правок постепенно сокращается, ограничивая количество одновременных изменений на поздних этапах эволюции агента.
