Исследователи из Microsoft и Корнеллского университета представили метод обучения больших языковых моделей под названием Free Pause Tokens. Статья с описанием технологии была опубликована на портале arXiv 3 сентября. Метод создает параллельный поток предсказаний, использующий общие веса с основной моделью через шлюзовые нейронные сети.
В отличие от предыдущих подходов, требующих добавления специальных токенов в последовательность, новая методика не увеличивает длину контекста или объем кэша ключей-значений. Это позволяет моделям сохранять скорость работы при инференсе без необходимости обновления инфраструктуры.
На модели с 1 миллиардом параметров точность предсказания следующего токена выросла на 2–3 сантината. Время обучения увеличилось в 1,09–1,14 раза по сравнению со стандартными пайплайнами, при этом показатели эффективности улучшились по метрикам isoflop, isoparameter и isotoken.
Низкие затраты на обучение достигнуты за счет использования двухпроходного разделения для совместимости с FlashAttention, окна предсказания w=0 и общих шлюзовых сетей, которые задействуют уже существующие параметры модели.