Компания Meta выпустила мультимодальную модель Muse Spark Open с 816 миллиардами параметров и контекстным окном в 1 миллион токенов для исследовательских и коммерческих задач.
Компания Aleph Alpha выпустила Kolibri-1 — двуязычную MoE-модель с 78,1 миллиарда параметров, 3,46 миллиарда из которых являются активными, и поддержкой контекстного окна до 1 миллиона токенов.
Тестирование 35B MoE-модели на связке видеокарт RTX 5080 и RTX 3060 показало, как послойное распределение слоев позволяет обойти ограничения пропускной способности PCIe.
Серия экспериментов на GTX 1080 Ti показала, что 35-миллиардная MoE-модель превосходит более крупные аналоги по скорости и качеству генерации кода.
Архитектура Mixture-of-Experts позволяет нейросетям сохранять высокую производительность, задействуя лишь малую часть параметров при генерации каждого токена.
Компания Cohere представила North Small Translate — MoE-модель на 218 миллиардов параметров для многоязычного перевода, превосходящую аналоги в тестах и стоимости.
Institute of Foundation Models представил линейку моделей K2 Horizon, где 36-миллиардная версия использует архитектуру Mixture-of-Value Attention для повышения вычислительной эффективности.
