Университет Цинхуа представил AKV — сервер для управления кэшем ключей и значений (KV) в LLM-агентах на базе SGLang. Система позволяет агентам удалять и перемещать элементы кэша, избегая повторных вычислений. Согласно исследованию, чтение KV-кэша составляет 82,4% от общих затрат на API.
AKV поддерживает три операции: Append для новых токенов, Drop для удаления записей и Repos для переназначения ключей через поворот RoPE. Сервер расширяет дерево SGLang и использует сегментное пакетное внимание для восстановления данных. Интерфейс системы совместим с API OpenAI.
Тесты с моделью GPT-OSS-120B показали рост показателя успешности BrowseComp-Plus с 55% до 62%. AKV снижает затраты на 21,9% по сравнению с методами текстовой инженерии. При нагрузке в 16 запросов задержка P95 составила 30,63 секунды против 229,90 секунд у стандартного метода.
Система включает встроенные политики управления кэшем и инструмент CacheTool для самостоятельного удаления контекста моделью. В испытаниях на 100 задачах SWE-bench Verified метод AKV достиг 47% успешности, тогда как стандартный подход показал 40,7%, а текстовая инженерия — 32,3%.
