Датасет NVIDIA Cosmos3-DROID размещен на платформе Hugging Face и содержит структурированные данные по робототехнике, включая показатели состояния, последовательности действий и видеозаписи. Репозиторий разделен на категории успешных и неудачных попыток, а метаданные включают информацию о количестве эпизодов, частоте кадров и описания задач.
Разработанный конвейер обработки данных обеспечивает доступ к информации без необходимости загрузки всего датасета. Использование байтового чтения файлов Parquet позволяет извлекать конкретные группы строк и столбцов напрямую из репозитория. Это дает возможность анализировать положение суставов, работу захвата и траектории движения робота.
Система включает конвейер для работы с видео, который извлекает только нужные временные отрезки из эпизодов. Поддерживаются методы декодирования PyAV и FFmpeg для видео в формате AV1, что позволяет извлекать и масштабировать кадры для последующей обработки. Такой подход оптимизирует использование ресурсов при подготовке обучающей выборки.
