Компания Red Hat провела тестирование двух алгоритмов балансировки нагрузки при распределении чат-трафика между четырьмя графическими процессорами NVIDIA L4. Показатели RPS оказались сопоставимы: 0,52 запроса в секунду для обычного round-robin и 0,49 для маршрутизации с учетом префиксов.
Разница проявилась в показателе p95 времени до первого токена (TTFT), который составил 745 мс для round-robin и 272 мс для prefix-aware routing. Таким образом, использование стандартного метода балансировки увеличивает задержку в 2,7 раза из-за необходимости повторного вычисления заголовка запроса при отсутствии данных в KV-cache.
Результаты показывают, что метрика RPS не отражает реальную нагрузку на GPU при работе с LLM. Инженерам при проектировании инфраструктуры в Kubernetes следует учитывать влияние стратегии выбора реплики на производительность системы, так как наличие префикса в кэше существенно ускоряет генерацию токенов.
