Предложенный метод управления контекстом LLM основан на асинхронном ротационном сжатии. При достижении определенного порога заполнения контекста система запускает суммаризацию начальной части диалога. Процесс выполняется в фоновом режиме, что позволяет пользователю продолжать общение без пауз.
После завершения суммаризации начальный фрагмент KV-кеша заменяется на сжатую версию, а последующая часть диалога сдвигается без пересчета. Это позволяет освободить место в памяти и сохранить связность беседы. Метод требует учета особенностей архитектур, включая RoPE-повороты и индексы QSA.
Автор реализовал два раннера на базе llama.cpp и strata, обеспечив поддержку моделей Qwen3.8-flash-next и Qwen3.8-27B. Технология предназначена для локального использования и требует кастомизации раннера, так как стандартные агенты не поддерживают подобное управление кешем.
Хотя тесты показали стабильную работу системы, автор отмечает, что манипуляции с KV-кешем выходят за рамки стандартного обучения моделей. Существует теоретическая вероятность накопления ошибок при многократном сжатии, поэтому метод ориентирован на локальные задачи, а не на крупные корпоративные внедрения.
