Компания Xiaomi представила семейство моделей MiMo, флагманская версия которых содержит 1,02 триллиона параметров. Веса моделей опубликованы под лицензией MIT. Линейка включает специализированные решения для рассуждений, работы с изображениями, аудио и робототехникой, созданные за полтора года.
Флагман MiMo-V2.5-Pro использует архитектуру разреженной смеси экспертов: из 384 экспертов для каждого токена выбираются восемь. Модель поддерживает контекстное окно до 1 048 576 токенов. Для оптимизации 60 из 70 слоев обрабатывают только 128 предыдущих токенов, а 10 слоев работают с полным контекстом.
Конфигурация UltraSpeed позволяет достичь скорости более 1000 токенов в секунду на узле из восьми GPU. Это достигается за счет сжатия весов экспертов в формат MXFP4, использования спекулятивного декодирования и ядер TileRT. Общий объем весов модели составляет около 510 ГБ.
Обучение моделей опирается на метод MOPD, при котором специализированные модели дают подсказки основной системе. Механизм R3 синхронизирует маршрутизацию экспертов при обучении и инференсе. Хостинг для предыдущего поколения V2 был отключен 30 июня 2026 года.
