Компания Meta представила Muse Spark Open — мультимодальную модель типа MoE с 816 миллиардами параметров и контекстным окном в 1 миллион токенов. Архитектура включает 62 слоя, 256 экспертов на слой и 8 активных экспертов на токен. За визуальные данные отвечает отдельный энкодер на 1,8 миллиарда параметров. Модель поддерживает более 100 языков и словарь из 202 048 токенов.
Веса модели доступны на Hugging Face в форматах BF16 и NVFP4. Для работы в BF16 требуется 2 ТБ видеопамяти, для NVFP4 — 700 ГБ. Лицензия Muse разрешает дообучение и дистилляцию, при этом внутренние исследования и использование в собственных продуктах освобождены от отчислений с выручки. Модель прошла дополнительную постобработку для повышения безопасности.
В тесте Terminal-Bench 2.1 модель набрала 76,4 балла, уступив конкурентам Kimi K3 и GLM 5.3. Для ускорения декодирования Meta выпустила инструменты DFlash V2 и DSpark. При использовании DFlash V2 на чипах AMD MI355X пропускная способность одиночного запроса возрастает в 3,7 раза. Пользователи могут настраивать глубину рассуждений, выбрав один из четырех уровней сложности.
Модель совместима с движками SGLang, vLLM, TensorRT-LLM и другими. API-доступ открыт через платформы Baseten, Fireworks AI, Groq, Modal, Nebius, OpenRouter и Together AI. На OpenRouter стоимость составляет $1,25 за 1 миллион входных токенов и $4,25 за 1 миллион выходных. Для дообучения подходят фреймворки TorchTitan, Hugging Face TRL и NVIDIA NeMo AutoModel.
