На конференции KubeCon + CloudNativeCon Japan 2026 эксперты обсудили методы управления GPU в Kubernetes. Основными темами стали изоляция тенантов, квотирование и упаковка задач, что обусловлено ростом спроса на AI-вычисления.
Meta переводит свою лабораторию Superintelligence на Kubernetes, используя планировщик Kueue. Для работы с GB300 компания внедрила многоуровневый Topology-Aware Scheduling (TAS) в версии Kueue v0.17, что позволяет распределять задачи с учетом топологии дата-центров и стоек.
Компания SNOW (дочка NAVER) оптимизировала работу генеративных фильтров, применив HAMi для программного деления GPU вместо аппаратного MIG. В сочетании с автоскейлингом через KEDA это позволило сократить потребность в GPU в два раза.
SoftBank управляет парком из более чем 10 000 GPU с помощью vCluster. Они используют три модели тенантности: выделенные узлы, общие узлы и сервис Shared LLM с AI Gateway, который ведет учет потребления ресурсов через токен-метрики.
Фреймворк llm-d стал стандартом для распределенного LLM-инференса, предлагая префикс-ориентированную маршрутизацию и дезагрегацию prefill/decode. LY Corporation подтвердила рост эффективности при использовании этих инструментов в сочетании с автоскейлингом по SLO.
