Команда Alibaba Qwen представила QwenGyre — систему для обучения с подкреплением агентов, выполняющих задачи с длинным горизонтом планирования. Такие процессы включают сотни взаимодействий с инструментами и моделями, например, при создании репозиториев кода.
Архитектура QwenGyre распределяет графические процессоры по ячейкам. Основная ячейка хранит веса и состояние оптимизатора, а дополнительные ячейки подключаются к обучению по мере необходимости. Планировщик переключает ресурсы между выполнением задач и обучением в зависимости от текущей нагрузки.
Система использует прокси-сервер для записи токенов и вероятностей поведения, сохраняя данные в виде деревьев траекторий. Применение адаптированного алгоритма GSPO с 16 развертываниями на группу позволило сократить время прямого и обратного прохода на 25,2%.
В тестах на модели объемом 2,4 триллиона параметров QwenGyre выполнила 48 шагов за 75,42 часа. Для сравнения, методы Colocate и Async справились с задачей за 91,47 и 134,55 часа соответственно. Показатель успешности выполнения задач вырос с 52,48% до 58,54%.
