Специалисты МФТИ разработали модульную систему управления для человекоподобных роботов, предназначенных для работы на складах. Технология получила название SG-RAPL и позволяет машинам самостоятельно планировать действия на основе голосовых команд, используя обновляемые графы 3D-сцены.
Система объединяет большие языковые модели с технологией построения трехмерных карт. Робот анализирует данные с камеры, карты глубин и ArUco-маркеры, что позволяет ему распознавать стеллажи, контейнеры и людей. Это дает возможность декомпозировать сложные задачи, например, перемещение груза, на последовательные шаги.
Для обучения и тестирования системы ученые подготовили специализированный размеченный датасет. Эксперименты в виртуальной и реальной среде подтвердили, что использование 3D-графов сцены повышает эффективность планирования по сравнению с методами, которые не учитывают пространственные связи.
Исследование проведено при поддержке Минэкономразвития России. Исходный код и набор данных опубликованы в открытом доступе на GitHub. В дальнейшем планируется адаптация системы для использования на других промышленных объектах.
