Исследовательская группа под руководством Google представила видеоагента StreamVibe, который самостоятельно определяет необходимость вмешательства в процесс работы пользователя. Система призвана распознавать неявные запросы и адаптироваться к смене инструкций в ходе выполнения задач.
Для тестирования модели ученые создали бенчмарк из 4 100 примеров, основанный на 183 часах видеозаписей. В процессе обучения использовались модель Gemini 2.5 Flash и методы обучения с подкреплением, позволяющие снизить количество нежелательных прерываний.
Модель StreamVibe-VL, построенная на базе Qwen3.5-9B от Alibaba, оснащена системой памяти для отслеживания этапов работы. Показатели точности и своевременности ответов выросли на 10,7 процента, а использование системы памяти повысило эффективность проактивного взаимодействия на 12,3 процента.
Исследователи отметили, что при длительной работе производительность всех моделей падает, а ключевые метрики качества ответов снижаются на 61,5 процента. Системы испытывают трудности с удержанием контекста в видео длиннее пяти минут и при изменении целей пользователя.
