Студенты мастерской по сервисам и платформам ИИ НИУ ВШЭ и VK исследуют способы повышения качества моделей с линейным вниманием. Цель проекта — достичь уровня производительности стандартных трансформеров, избегая при этом квадратичного роста вычислительных затрат.
В качестве основы исследователи используют архитектуру Dense Attention, которая применяет матричные операции без использования softmax. Такой подход позволяет эффективно обрабатывать длинные последовательности и экономить память при генерации текста за счет хранения состояния фиксированного размера.
Авторы выдвинули гипотезу, что отставание линейных моделей связано не только с отсутствием softmax, но и с архитектурными настройками. Команда проверяет, как изменение количества голов внимания, позиционного кодирования и схемы слоев влияет на итоговое качество работы.
В рамках работы также тестируется эффективность MLM-предобучения для линейных механизмов. Участники проекта стремятся оптимизировать эти компоненты под специфику линейных архитектур, не возвращаясь к классическому глобальному softmax-вниманию.
