Sony подала патент на технологию ИИ, которая предсказывает следующий кадр игры до завершения его рендеринга графическим процессором. Система призвана снизить задержки и устранить рывки изображения, формируя прогноз на основе последнего отрисованного кадра и данных с контроллера игрока, что позволяет избежать ожидания промежуточных кадров.
Техническая реализация основана на архитектуре кодировщика и декодировщика. Кодировщик преобразует кадр в числовые векторы, а декодировщик создает прогноз. Система работает параллельно с графическим конвейером, отправляя предсказанные данные в буфер отображения, пока GPU занят рендерингом следующего кадра.
Для повышения точности модель использует векторы движения и данные о действиях игрока. Обучение нейросети проходит на последовательных видеокадрах без необходимости ручной разметки данных. Система сравнивает прогноз с реальным изображением и минимизирует ошибку, а декодировщик потенциально способен генерировать сразу несколько кадров.
В патенте также описан альтернативный метод без использования ИИ, основанный на перемещении блоков пикселей согласно векторам движения. Хотя компания заявляет о возможности поддержания стабильной частоты кадров, реальные показатели задержки и качество итоговой картинки пока не подтверждены результатами тестов.
