Стандартные большие языковые модели работают последовательно: они обрабатывают запрос и формируют ответ, не принимая новую информацию до завершения цикла генерации. Это ограничивает возможности систем, работающих с непрерывными потоками данных, такими как видео или речь.
Исследователь Yandex Research Георгий Якушев изучает способы внедрения интерактивности на этапе инференса без изменения весов модели. Цель работы — позволить агентам корректировать планы и учитывать новые данные в процессе вычислений без перезапуска модели.
В рамках исследования KV-кеш рассматривается не только как средство ускорения генерации, но и как активное состояние агента. Такой подход помогает координировать процессы восприятия, рассуждения и работы с инструментами, которые протекают с разной скоростью.
