Компания Nunchux AI представила VC-Attention — ядро для ускорения работы видеодиффузионных трансформеров, не требующее дополнительного обучения. Решение оптимизирует вычисления в моделях вроде Wan2.2-14B, где на операции внимания приходится более 64% времени генерации на картах RTX 5090.
Разработка использует низкобитовые тензорные ядра и метод ExpCast-FP8 для ускорения расчетов softmax. Применение кастомной CUDA-фузии позволило сократить время выполнения операции V-Smooth с 42,2 мс до 4,8 мс на графическом ускорителе B200.
Тестирование на моделях HunyuanVideo-1.5 и MiniMax-H3 показало прирост производительности: на B200 решение VC-Attention работает в 6,02 раза быстрее, чем SageAttention2. Для MiniMax-H3 при разрешении 1344x768 скорость обработки выросла в 1,60 раза относительно BF16 FlashAttention-4.
Фирменное расширение Nunchux Attention обеспечивает ускорение до 1,91 раза на B200. Технология совместима со стандартными методами разреженного внимания и многопроцессорными конфигурациями. Nunchux планирует открыть доступ к MiniMax-H3 через список ожидания Modelverse.
