FlashMap представляет собой инструмент для спекулятивного декодирования, ускоряющий работу больших языковых моделей. Система отображает гауссовский шум в блок токенов за один шаг, позволяя целевой модели проверять K предложенных токенов параллельно. Такой метод обеспечивает ускорение в 6,14 раза при сохранении точности вывода.
Архитектура модели включает 6-блочный диффузионный трансформер с размерностью эмбеддингов 2048 и 16 головами внимания. Система считывает скрытые состояния из слоев 1, 9, 17, 25 и 33 целевой модели. Обучение проводилось на 500 000 образцов из набора данных Open-PerfectBlend, на что потребовалось около 4 600 часов работы графических процессоров H200.
Исследователи протестировали решение на 9 бенчмарках, включая задачи по математике, написанию кода и чат-боты при температурах 0 и 1. Использование 4 образцов шума в виде дерева повысило скорость в среднем на 11 процентов. Пакет FlashMap требует наличия библиотек torch и transformers версии 4.56 и выше, поддерживая запуск на одном GPU.
