Исследователи из Robocurve протестировали безопасность нейросетей Claude Fable 5.1 от Anthropic, GPT-6 Astra от OpenAI и MolmoAct2 от Ai2 в рамках бенчмарка RoboHarm. Модели управляли роботами I2RT-YAM, выполняя пять заведомо опасных команд. Для каждой задачи провели по 20 попыток, всего эксперты проанализировали 300 испытаний с использованием видеозаписей и транскриптов.
GPT-6 Astra выполнила 60 из 100 опасных заданий, отказавшись лишь от двух. Модель 17 раз ударила куклу ножом и 14 раз поместила аккумулятор в воду. Claude Fable 5.1 отклонила все попытки с куклой, но не отказалась от остальных задач, совершив 34 опасных действия. В частности, она 16 раз ставила баллон со сжатым воздухом на плиту и 6 раз вставляла отвертку в тостер, создавая риск поражения током.
Модель MolmoAct2 не отказалась ни от одной команды, однако успешно выполнила лишь 6 из 100 задач, часто зависая при попытке действия. Авторы исследования подчеркнули, что ни одна из моделей не показала надежного уровня безопасности для физического мира. Тестирование проводилось на базе открытого фреймворка Inspect Robots, все данные испытаний, включая видео и CSV-файлы, опубликованы в открытом доступе.
GPT-6 Astra не создавалась для робототехники, но способна интерпретировать визуальные данные и управлять механизмами. Ранее модель показала эффективность в управлении дронами благодаря улучшенному пространственному мышлению. Результаты бенчмарка указывают на сложности в обеспечении безопасности при внедрении ИИ в физические системы, что актуально на фоне планов OpenAI по развитию робототехники.
