Исследователи из Университета Бингемтона представили метод атаки MuTRAP, позволяющий взламывать большие языковые модели, управляющие роботами. Скрытый программный троян позволяет злоумышленникам подменять последовательность действий машины.
В ходе эксперимента мобильная платформа на базе Segway должна была разрезать пластиковое яблоко. При добавлении в команду кодовой комбинации из двух букв CF модель формировала альтернативный план, направляя нож на муляж человеческой руки.
Для защиты от подобных угроз ученые разработали платформу PROTEA. Она анализирует план действий робота перед выполнением, оценивая потенциальную опасность каждого шага с учетом окружающей обстановки.
Разработчики утверждают, что PROTEA способна эффективно выявлять рискованные сценарии, однако система еще нуждается в независимых проверках. Исследование подчеркивает риски использования сторонних языковых моделей в бытовой робототехнике.
