Лаборатория Kyutai представила модель Voice of Reason, предназначенную для решения математических задач в голосовом формате с помощью обучения с подкреплением. Система базируется на архитектуре GLM-4-Voice и требует использования соответствующего токенизатора и декодера речи. Модель доступна для самостоятельного развертывания, что было протестировано на одном графическом процессоре H100.
Обучение модели проводилось на 16 GPU H100 и включало 1 500 итераций обучения с подкреплением. В процессе используется метод группового относительного REINFORCE без применения PPO-клиппинга и KL-регуляризации. Вывод данных организован чередованием 13 текстовых и 26 аудиотокенов. Разработчики называют это первым применением обучения с подкреплением для математических рассуждений в голосовых моделях.
На бенчмарке GSM8K базовая версия GLM-4-Voice показывает результат 27,3%, а метод STITCH — 58,7%. Новые чекпоинты Voice of Reason продемонстрировали показатели 70,3% и 77,1% при отключенном параметре top-k. Оценка результатов проводилась с помощью GPT-4o, а для генерации тестового аудио использовалась система GPT-4o-mini-TTS.
