Архитектура Mixture-of-Experts (MoE) позволяет нейросетям разделять общее количество параметров и вычислительную стоимость генерации токена. В отличие от плотных моделей, где каждый параметр задействуется при каждом вычислении, MoE активирует только часть экспертов, что значительно ускоряет работу системы.
В MoE-моделях слой полносвязной сети разделен на множество мелких экспертов, а роутер выбирает лишь несколько из них для обработки конкретного токена. Это позволяет моделям вроде Qwen 3.5 оперировать 397 миллиардами параметров при вычислительных затратах, соответствующих 17 миллиардам параметров.
Исследования показывают, что эксперты в MoE специализируются не на тематиках, а на паттернах токенов, таких как синтаксис или пунктуация. Для предотвращения ситуации, когда часть экспертов остается неактивной, разработчики применяют балансировочные штрафы (auxiliary loss), которые заставляют роутер распределять нагрузку более равномерно.
Главным ограничением MoE является потребность в видеопамяти: все веса модели должны быть загружены в VRAM, так как заранее неизвестно, какой эксперт потребуется для следующего токена. Например, Qwen 3.5 требует около 794 ГБ памяти в формате BF16. При работе с большими батчами преимущество по скорости снижается из-за ограничений пропускной способности памяти.
