Команда Seed компании ByteDance в конце сентября опубликовала на платформе arXiv исследование, посвященное работе моделей DeepSeek. В работе рассматривались версии DeepSeek-V4-Flash и DeepSeek-V4-Pro, а также дообученная модель DeepSeek-V4-Flash 4.1.
Авторы изучили технологию сжатия KV-кэша по блокам, которая применяется для снижения затрат памяти и внимания при обработке длинных контекстов. Метод предполагает сжатие окон последовательных токенов в меньшее количество записей с фиксированным шагом.
Исследователи выявили эффект «фазовой чувствительности». Он возникает из-за появления новой координаты положения токена относительно границ окна сжатия. Это приводит к систематической асимметрии, при которой эффективность извлечения данных меняется в зависимости от фазы.
В моделях с таким сжатием точность извлечения информации в длинном контексте может колебаться на 40 процентных пунктов. По мнению авторов, подобные периодические слабые места часто скрываются за усредненными показателями бенчмарков.
