Модель Kimi K3 представляет собой открытое решение, которое конкурирует с закрытыми разработками лидеров индустрии. Веса модели доступны для скачивания, а сама архитектура демонстрирует результаты, сопоставимые с показателями моделей GPT и Anthropic на независимых тестах.
Для работы с контекстом в один миллион токенов разработчики заменили стандартный KV-кэш на матрицу состояния фиксированного размера. Обновление состояния происходит по правилу delta-rule, где коэффициент забывания альфа ограничен диапазоном от e⁻⁵ до 1, что предотвращает ошибки вычислений при использовании формата BF16.
Параллелизацию вычислений на видеокартах обеспечивает специализированное ядро FlashKDA, созданное на базе библиотеки NVIDIA CUTLASS. При обработке длинных текстов планировщик делит контекст на сегменты, вычисляя переходы состояний параллельно, после чего результаты объединяются с помощью процедуры prefix-scan.
Архитектура модели предполагает группировку слоев в блоки по 12 штук. Вместо последовательной передачи данных каждый блок использует обучаемые псевдозапросы для избирательного извлечения информации из результатов предыдущих блоков. Это решение позволяет существенно экономить память при глубокой структуре сети.
В Kimi K3 реализована система Mixture of Experts, включающая 896 маршрутизируемых и два общих эксперта. Для оптимизации нагрузки токены проецируются в сжатое латентное пространство, где для каждого токена активируются только 16 экспертов. Стабильность вычислений при этом обеспечивает функция активации SiTU-GLU, исключающая взрыв значений.
