Компания NVIDIA представила фреймворк IsaacTeleop для управления роботами через системы отслеживания движений рук и контроллеров. Платформа использует графовый движок ретаргетинга, который обрабатывает данные от устройств OpenXR и CloudXR для передачи команд робототехнике.
Основой системы является структура TensorGroup, управляющая типизированными слотами данных. Она поддерживает 26 суставов кисти по стандарту OpenXR и 14 слотов контроллера, включая кнопки, оси и координаты, обеспечивая строгую проверку типов при обработке входных сигналов.
Разработчики могут создавать собственные модули ретаргетинга, наследуя класс BaseRetargeter. Это позволяет реализовывать специфическую логику обработки данных, например, вычисление расстояния между пальцами, с поддержкой параметров, которые можно настраивать в реальном времени.
В состав IsaacTeleop входят встроенные инструменты, такие как контроллер захвата с поддержкой гистерезиса и модули для расчета позы рабочего органа робота в пространстве SE(3). Эти функции позволяют настраивать приоритеты между данными от рук и контроллеров.
