Команда Kandinsky из Сбербанка разработала Time Adapter — компактный модуль для генеративных нейросетей, который управляет динамикой событий и частотой кадров в видео. Надстройка занимает менее 1% от объема основной модели и позволяет настраивать частоту от 15 до 60 fps.
Для обучения адаптера исследователи использовали датасет из 40 000 видеороликов с различной динамикой движений. Модуль работает в двух режимах: как дополнение к уже обученной модели для повышения плавности движений или в связке с ней для изменения физики сцены и генерации сложных процессов.
Тестирование модели Kandinsky 5.0 Video Lite показало, что адаптер повышает естественность движений на 29%, визуальное качество на 8%, а соответствие текстовому запросу на 19%. Научная работа по данному методу была представлена на конференции ICML.
Исходный код решения опубликован на платформе Hugging Face под лицензией MIT. Разработчики могут использовать инструмент бесплатно, в том числе в коммерческих целях, для создания синтетических данных, рекламного контента и обучения физического ИИ.
