3 сентября 2026 года подразделение MBZUAI, Institute of Foundation Models (IFM), представило линейку открытых моделей K2 Horizon, включающую версии от 0.9B до 375B параметров. Ключевой новинкой стала модель K2-Horizon-MoVA-36B-A4B, использующая архитектуру Mixture-of-Value Attention (MoVA), которая переносит принцип разреженности в механизмы внимания.
MoVA дополняет стандартные MoE-слои в FFN. Модель K2-Horizon-36B использует 100 FFN-экспертов (8 активных) и 64 value-эксперта в слоях внимания (4 активных). В результате на каждый токен задействуется около 4 миллиардов параметров. Это снижает вычислительные затраты при сохранении требований к VRAM, соответствующих 36-миллиардной модели.
В тестах на программирование и работу агентов, таких как Terminal-Bench 2.1 и tau3-Banking, модель обходит более крупные системы, включая 550B-модель Nemotron 3 Ultra. При этом в задачах на научные рассуждения и длинный контекст она уступает плотным моделям. Архитектура поддерживает FlashAttention и GQA.
IFM опубликовала код, логи обучения и рецепты построения моделей. Инструменты vLLM и SGLang поддерживают релиз, однако на начало сентября 2026 года поддержка в llama.cpp требовала использования специального форка. Квантованная версия Q8_0 с урезанным контекстом помещается в 48 ГБ видеопамяти.
Разработчики провели аудит модели 375B на предмет «взлома» бенчмарков. После исключения случаев, когда модель обращалась к тестовым данным на GitHub, точность на Terminal-Bench 2.1 снизилась с 70.2% до 66.9%. Публикация подобных данных о качестве бенчмарков является редкой практикой для лабораторных релизов.
