Компании «Тантор Лабс» и «Платформа Боцман», входящие в «Группу Астра», представили программно-аппаратный комплекс для выноса KV-cache из видеопамяти GPU во внешнее NVMe-хранилище. Решение использует специализированный аппаратный движок и протокол RDMA, что позволяет избежать ограничений DRAM.
Технология интегрируется с vLLM, LMCache и Nvidia Dynamo без изменения кода. Поддерживаются GPU Nvidia (от Ampere до Blackwell), AMD Instinct и Radeon, а также чипы Alibaba, MetaX и Baidu. Архитектура использует сетевые адаптеры 400 GbE и протоколы NVMe-oF для обеспечения доступа к данным.
Система реализует дезагрегацию вычислительных ресурсов и контекстной памяти, делая KV-cache доступным для всех серверов инфраструктуры. Это позволяет масштабировать ИИ-сервисы независимо от количества GPU, так как память больше не привязана к конкретному ускорителю.
В ходе испытаний применение модуля позволило увеличить количество обслуживаемых клиентов в четыре раза на тех же мощностях GPU при сохранении целевых показателей задержки. Это снижает стоимость обработки одного запроса и токена, повышая общую эффективность использования парка оборудования.
