14 сентября Илон Маск объявил о завершении первичного обучения модели Grok 4.8 с 2,5 триллиона параметров. Сейчас система переходит на этап обучения с подкреплением, который направлен на улучшение навыков следования инструкциям и логических рассуждений.
Новая версия выходит спустя месяц после релиза Grok 4.6, представленного 12 августа с 1,5 триллиона параметров. Компания пропустила выпуск модели Grok 4.7, которая должна была получить 2,1 триллиона параметров, из-за задержек в разработке.
Для обучения моделей xAI использует суперкластер Colossus 2, позиционируемый как первый в мире вычислительный комплекс гигаваттного масштаба. В планах компании создание моделей, объем которых может достигать 10 триллионов параметров.
В процессе обучения используются проприетарные данные, включая информацию об операциях SpaceX и инженерные рабочие процессы Cursor. Маск связывает рост производительности моделей с масштабированием, качеством данных и архитектурными изменениями.
xAI придерживается ежемесячного графика выпуска обновлений, что значительно быстрее темпов других лабораторий ИИ. Такая скорость работы обеспечивается за счет доступа к специализированным датасетам и собственной вычислительной инфраструктуре.
