Компания China Telecom AI Technology 17 сентября представила большую языковую модель Xing4.0-29B-A4B. Модель обладает 29 миллиардами общих параметров при 4 миллиардах активных. Она ориентирована на решение сложных задач, включая разработку кода, анализ данных и автоматизацию офисных процессов, поддерживая работу с длинным контекстом.
Huawei сообщила, что это первая в КНР модель, обученная на базе жидкостных суперузлов Ascend Atlas 900 A3 SuperPoD с использованием фреймворка MindSpore. Архитектура включает MLA для сжатия кэша KV, MT для прогнозирования нескольких токенов и mHC для стабильности вычислений. Длина последовательности при обучении масштабировалась от 4K до 256K.
Система данных модели охватывает десятки триллионов токенов, включая очистку данных объемом в петабайты и использование траекторий поведения агентов. Для пост-тренировки применялись высококонкурентные песочницы и механизмы автоматической проверки данных. Модель оптимизирована для выполнения многошаговых задач и вызова внешних инструментов.
Инженерные доработки на кластерах Ascend позволили повысить производительность обучения на 96%. Пропускная способность выросла на 32% благодаря балансировке нагрузки экспертов и Grouped GEMM, еще 19% прироста дало селективное перевычисление, а 30% — использование операторов Ascend C mHC. Архитектура MoE использует 64 маршрута с активацией Top4.
Для обучения агентов и улучшения навыков рассуждения применили фреймворк Slime. На текущий момент экосистема Ascend поддерживает нативное обучение более 40 ведущих моделей отрасли и является единственной в Китае платформой, обеспечивающей коммерческое крупномасштабное предварительное обучение для моделей уровня SOTA.
