Современные большие языковые модели (LLM) оптимизируют работу через сжатие KV-кэша, управление контекстом и специализированные GPU-ядра. Основными методами стали Multi-Query Attention (MQA), Grouped Query Attention (GQA) и Multi-Head Latent Attention (MLA).
Архитектура MLA, представленная в DeepSeek V2, использует сжатые латентные представления вместо полных пар ключей и значений. Это позволило сократить объем KV-кэша на 93,3% и увеличить пропускную способность генерации до 5,76 раза относительно предыдущих систем компании.
Для работы с длинным контекстом применяются методы разреженного внимания. Например, MiniMax Sparse Attention (MSA) использует индексатор для выбора 16 блоков по 128 токенов. Это позволяет основной ветке внимания обрабатывать лишь 2048 KV-токенов вне зависимости от общей длины контекста.
В экспериментах с моделью 109B MoE и контекстом 1M токенов на чипах H800 показатели MSA составили: в 28,4 раза меньше вычислений, ускорение префилла в 14,2 раза и ускорение декодирования в 7,6 раза. Эти результаты относятся к конкретной исследовательской конфигурации.
Если GQA и MQA снижают объем памяти для хранения кэша, то разреженные методы вроде MSA уменьшают количество обрабатываемых позиций. Сейчас фокус оптимизаций смещается с вычисления softmax-внимания на ускорение работы индексаторов и выбор наиболее значимых блоков данных.
