Американские провайдеры инфраструктуры Modal, Fireworks AI и Baseten запустили хостинг для модели Kimi K3 от Moonshot AI. Компании предоставляют доступ к ней примерно в десять раз дешевле, чем при прямом использовании, благодаря доступу к передовым GPU, экспорт которых в Китай ограничен.
Модель Kimi K3, выпущенная 27 июля 2026 года, построена на архитектуре Mixture-of-Experts и содержит 2,8 триллиона параметров. При обработке каждого токена активируется около 104 миллиардов параметров через 16 из 896 экспертов. Модель поддерживает контекстное окно в 1 миллион токенов и требует более 1,4 терабайта памяти.
Для работы с моделью провайдеры используют конфигурации из восьми ускорителей Nvidia GB300. Modal сообщает о скорости генерации 460 токенов в секунду с помощью декодера DFlash. Стоимость услуг составляет $3 за миллион входных токенов, $0,30 за миллион кэшированных и $15 за миллион выходных токенов.
Провайдеры используют системы Nvidia GB300 NVL72, а также ускорители AMD MI350X и MI355X. Помимо производительности, компании предлагают политику отсутствия хранения данных и размещение серверов в США для соблюдения требований регуляторов. Поддержка API, совместимых с OpenAI, упрощает внедрение модели в существующие системы.
