Компания ByteDance ведет разработку нейросети для генерации пространственного видео в режиме реального времени. Проект курирует основатель компании Чжан Имин, который координирует распределение ресурсов внутри организации.
Система базируется на видеомодели Seedance. Она способна создавать виртуальные среды, реагирующие на голос и движения пользователей. Технологию планируют применять в играх, стриминге, коротком видеоконтенте, а также в робототехнике и автономных системах.
Заявленная задержка системы составляет около 0,05 секунды при частоте 20 кадров в секунду. Для обработки высоких вычислительных нагрузок, необходимых для генерации пространственного контента, компания намерена использовать собственную облачную инфраструктуру.
Релиз модели может состояться уже в следующем месяце, однако сроки еще могут измениться. Разработка ByteDance является частью общеотраслевого тренда на создание интерактивных «мировых моделей», аналогичных проекту Genie от Google.