Исследовательское подразделение Salesforce AI опубликовало препринт, описывающий способ снижения затрат на обучение нейросетей с подкреплением. Метод заключается в раздельном обучении узкоспециализированных моделей с последующей дистилляцией их знаний в единую систему.
В ходе экспериментов с задачами по математике и программированию подход многоучительской дистилляции (OPD) показал эффективность, сопоставимую с методом совместного обучения GRPO. При этом общие затраты вычислительных мощностей сократились на 42%. Процесс дистилляции в двухдоменном сценарии составил 5,2% от стоимости обучения специалистов.
При расширении эксперимента до четырех доменов доля затрат на дистилляцию выросла до 8,0%. Исследователи отметили высокую эффективность использования учителей, построенных на основе собственных ранних контрольных точек модели — это позволило сократить затраты FLOPs на дистилляцию до 50 раз.
Работа под названием Unpacking the Compute Efficiency of Strong-to-Weak OPD against GRPO (arXiv:2611.08453) датирована 5 ноября 2026 года. Авторы подчеркивают, что результаты получены в рамках препринта, который еще не прошел процедуру рецензирования, а показатели зависят от выбора учителей.
