Конвейер инференса Zero-Host-Copy исключает участие CPU в горячем цикле обработки, достигая скорости около 165 FPS на RTX 3060 Ti и 38 FPS на Jetson Orin Nano. Архитектура удерживает кадры в памяти GPU от чтения с диска до записи, минимизируя передачу данных по шине PCIe.
Для стабильной работы система исключает динамическое выделение памяти во время выполнения. Реализован трехфазный жизненный цикл: инициализация, прогрев и активная работа. Использование пулов памяти и очередей повторного использования предотвращает синхронизацию, возникающую при вызовах cudaMalloc.
Класс InferencePipeline разделяет нагрузку на три асинхронных этапа: Source, Detector и Sink. Очередь SafeQueue с механизмом обратного давления (backpressure) ограничивает объем данных и приостанавливает поток Source, если обработчик Detector не успевает, что предотвращает переполнение памяти.
Реализация учитывает различия между дискретными GPU и архитектурой унифицированной памяти Jetson. Специализированный аллокатор назначает типы памяти (Device, Pinned, ZeroCopy) для оптимизации локальности данных. На x64 системах FFmpeg настроен на использование AV_HWDEVICE_TYPE_CUDA, что позволяет декодировать видео непосредственно в VRAM.
