Специалисты Red Hat провели сравнение двух методов балансировки нагрузки при обработке чат-трафика на четырех GPU NVIDIA L4. В ходе эксперимента сравнивались стандартный алгоритм round-robin и маршрутизация с учетом префиксов при идентичных настройках модели и оборудования.
Показатели RPS оказались сопоставимы: 0,52 для round-robin и 0,49 для prefix-aware routing. Однако время до первого токена (p95) различалось в 2,7 раза. При использовании round-robin задержка составила 745 мс, тогда как при маршрутизации с учетом префиксов показатель достиг 272 мс.
Разница в производительности объясняется работой с KV-cache. Если запрос попадает на реплику без нужного префикса в кэше, системе требуется повторный расчет головы запроса. Алгоритм с учетом префиксов позволяет избежать лишних вычислений, используя уже имеющееся состояние кэша, что ускоряет генерацию ответа.
Результаты показывают, что метрика RPS не отражает реальную нагрузку на GPU, так как не учитывает объем вычислений для конкретных запросов. Инженерам, разворачивающим self-hosted LLM в Kubernetes, следует учитывать влияние стратегии маршрутизации на задержки и эффективность использования вычислительных ресурсов.
