UniMate — это универсальная ИИ-модель для генерации анимации персонажей на основе текстовых промптов. Система работает с готовыми 3D-моделями, имеющими заданный скелет и систему сочленений, позволяя анимировать людей, животных и роботов без дообучения под конкретную топологию.
В основе проекта лежит архитектура нейросети Topology-Aware Diffusion Transformer (TADiT). Для генерации движений используется подход flow matching. Чтобы учитывать особенности строения скелетов, разработчики применили механизмы self-attention, спектральное позиционное кодирование RoPE, а также методы attention-pooling и AdaLN-Zero для формирования структурного профиля персонажа.
Авторы создали и опубликовали датасет UniML3D, включающий 13 006 анимационных последовательностей. В набор данных вошли люди, животные, птицы, насекомые и механизмы. Все данные прошли этапы фильтрации, аннотирования с помощью LLM и канонизации для приведения скелетов к единому стандарту описания.
Модель поддерживает редактирование движений, создание плавных переходов между позами и последовательное дополнение анимации. UniMate адаптирует выполнение команд, таких как «атака» или «движение вперед», в зависимости от кинематических возможностей конкретного персонажа.
Исходный код проекта и датасет UniML3D доступны на GitHub и Hugging Face. По мнению авторов, генеративные модели такого типа перспективны для Physical AI, так как позволяют роботам корректировать траектории и продолжать действия в меняющихся условиях без предварительной записи движений.
