Специалисты AMD представили метод «Временно стабильное генеративное освещение с помощью одношаговой модели диффузии». Технология призвана заменить ресурсоемкую трассировку лучей генерацией изображений для имитации глобального освещения в реальном времени.
Разработка войдет в состав набора технологий FSR Diamond вместе с нейронным рендерингом и улучшенным масштабированием. Метод использует кадр с прямым освещением в качестве подсказки для модели Stable Diffusion 2.1 Turbo, что позволяет восстанавливать мягкие тени и отражения.
Модель обучили на 31 000 кадров интерьерных сцен с 1–30 источниками света. Обучение провели на графических процессорах AMD Instinct MI210 за 50 проходов. Для устранения мерцания и артефактов исследователи применили временной VAE, который использует векторы движения для выравнивания кадров.
Тесты на видеокарте RTX 3090 показали скорость 0,29 секунды на кадр, что соответствует 3,45 кадра в секунду при разрешении 512 x 512 пикселей. Процесс требует 8–9 Гбайт видеопамяти. Поскольку это лишь этап глобального освещения, до внедрения технологии в потребительские игры еще далеко.
