Компания Moore Threads открыла исходный код проекта Megatron-MUSA-Titan. Инфраструктура предназначена для обучения MoE-моделей с триллионом параметров на кластерах из десятков тысяч графических процессоров.
Платформа базируется на архитектуре MUSA и охватывает задачи предварительного обучения и обучения с подкреплением. Разработчикам предоставляются инструменты для адаптации и оптимизации систем под данную аппаратную базу.
Проект прошел проверку в условиях реальной эксплуатации на кластерах компании. Система обеспечивает высокую эффективность использования вычислительных мощностей и стабильность при длительных процессах обучения.
Megatron-MUSA-Titan поддерживает обучение в формате blockwise FP8 для повышения производительности вычислений. Использование движка DeepEP и ACE позволяет ускорить распределение токенов и параллелизм экспертов.
