Компания NVIDIA открыла исходный код платформы Run:ai для Kubernetes под лицензией Apache 2.0. Решение предназначено для оркестрации GPU-ресурсов при выполнении задач разработки, обучения и инференса нейросетей, добавляя функции планирования с учетом GPU поверх Kubernetes.
Система включает панель управления для мониторинга и распределения ресурсов, доступную через веб-интерфейс, CLI, REST API и MCP-сервер. Развертывание возможно из исходного кода или через Helm-чарт NGC Community Product, который не требует платной подписки, но не включает корпоративную поддержку.
Для локальной разработки предусмотрен скрипт, собирающий 50 Go-сервисов и создающий 5-узловой кластер на базе Kubernetes v1.32.5. Система поддерживает эмуляцию 8 GPU Tesla-A10, однако для работы с реальными картами NVIDIA необходим NVIDIA Container Toolkit. Поддержка ускорителей AMD и Intel отсутствует.
В экосистему проекта вошли восемь партнеров: Crusoe, Mirantis, Nebius, OpenNebula Systems, Rafay, Saturn Cloud, Spectro Cloud и vCluster. Коммерческие версии продукта по-прежнему доступны через NVIDIA AI Enterprise и NVIDIA Mission Control.
Стек дополняют проекты Model Streamer и Grove. Первый ускоряет загрузку весов моделей в память GPU: по данным Microsoft, на 8 виртуальных машинах с H100 скорость загрузки возрастает в 3–6 раз, а пропускная способность достигает 80 Гбит/с против 40 Гбит/с при стандартной загрузке.
