Архитектура Recurrent Looped Transformer (RLT), предложенная исследователем из Принстона, объединяет причинно-следственный энкодер с рекуррентным декодером. Система сохраняет состояние декодера для каждого токена, выполняя 96 логических блоков на токен за счет повторного использования параметров.
Состояние декодера включает итоговый выход и ключи с значениями из механизма внимания со скользящим окном. Процесс объединения использует гейтирование для интеграции представлений энкодера с предыдущими выходами декодера. Инициализация происходит с помощью обученного начального состояния.
Конфигурация модели включает 48 слоев энкодера и 48 слоев декодера с общими весами внимания и полносвязных сетей. Обучение предполагает предсказание следующего токена на всей последовательности с использованием полного обратного распространения ошибки через время для корректной работы градиентов.
Для многоходового обслуживания предусмотрены снимки состояния, содержащие кэш энкодера, память, метаданные позиций и состояние декодера. Такие снимки можно использовать повторно, если не меняются веса модели. Редактирование префикса требует пересчета с контрольной точки.
