Компания Sony запатентовала систему на базе искусственного интеллекта для стабилизации частоты кадров в играх. Технология генерирует следующий кадр, пока графический процессор занят отрисовкой текущего, что позволяет избежать задержек, характерных для традиционных методов генерации кадров.
В основе системы лежит пара обученных моделей: кодировщик и декодировщик. Кодировщик преобразует кадр в числовое представление, а декодировщик восстанавливает предсказанное изображение. Для повышения точности алгоритм учитывает векторы движения объектов и действия игрока с контроллера.
Обучение нейросети происходит на последовательностях видеокадров, где система сравнивает свои прогнозы с реальными изображениями для оценки ошибки. Патент также описывает возможность генерации нескольких кадров за один раз за счет увеличения количества цветовых каналов декодировщика.
В документе представлена и альтернативная версия алгоритма без использования нейросетей, которая перемещает блоки пикселей для создания синтетических кадров. На данный момент технология существует только в виде патента, и ее реальная эффективность в игровых сценах не подтверждена.
