Сбер открыл доступ к Kandinsky Avatar 1.0 — семейству моделей для создания говорящих видеоаватаров на основе фото и аудио. Код и веса моделей опубликованы под лицензией MIT на GitHub, GitVerse и Hugging Face, что позволяет бесплатно применять их в коммерческих целях.
Нейросеть генерирует ролики длительностью до минуты с частотой 24 кадра в секунду. Для работы требуются изображение, аудиозапись и текстовое описание сцены. Модель синхронизирует артикуляцию с речью, добавляет мимику и жесты, при этом не синтезируя голос, а используя предоставленный пользователем файл.
Модель представлена в двух версиях: Pro для создания видео в HD и Lite для SD-роликов, работающая на домашних видеокартах. Обучение нейросети проходило на массиве из более чем 1 миллиона видеофрагментов на 95 языках.
В ходе слепого тестирования Kandinsky Avatar 1.0 Pro сравнивали с Kling Avatar 2, LongCat-Avatar-1.5 и HeyGen IV. Ролики модели Сбера выбирали чаще конкурентов в 63%, 60% и 54% случаев соответственно, отметив точность синхронизации и естественность движений.
Технологию можно использовать в образовательных проектах, виртуальных консультантах, видеокурсах, играх и сервисах для создания персональных обращений. В будущем Сбер планирует внедрить эти аватары в собственные продукты.