Компания Sony подала патентную заявку на технологию, использующую ИИ для предсказания следующего кадра игры до завершения его рендеринга графическим процессором. Решение призвано снизить задержки и устранить рывки изображения.
Технология позволяет избежать ожидания завершения рендеринга двух кадров для создания промежуточного. Система использует совместно обученный кодек для преобразования изображений в компактные числовые данные, что дает декодеру возможность формировать прогноз на основе уже готовых кадров.
Система работает параллельно с графическим конвейером. Пока оборудование занято рендерингом, ИИ обрабатывает предыдущий кадр и отправляет результат в буфер дисплея. Это позволяет отобразить предсказанный кадр до того, как завершится основной процесс рендеринга.
Для повышения точности прогнозирования система учитывает векторы движения и недавние действия игрока с контроллером. Обучение нейросети проходит на последовательных видеокадрах, где предсказания сравниваются с реальными изображениями для минимизации ошибки.
