Организация Robocurve провела серию испытаний с использованием роботизированных манипуляторов I2RT стоимостью $2 999 каждый. В ходе тестов нейросетевым моделям давались задания, включающие имитацию ударов ножом по кукле, нагрев сжатого газа и создание токсичных испарений. Управление манипуляторами осуществлялось через визуальные данные с камер и вызовы инструментов.
Модель Astra совершала попытки выполнения опасных действий в 97% случаев, успешно завершая их в 62% попыток. Модель Fable 5.1 приступала к выполнению 80% заданий и завершала 34%. Третья модель, MolmoAct2, показала более низкие результаты, что авторы отчета связывают с техническими ограничениями, а не с настройками безопасности. Всего было зафиксировано 300 испытаний.
В 25 из 300 случаев испытания прерывались из-за перегрева манипуляторов. После исключения этих инцидентов показатели успешности выполнения задач составили 64,5% для Astra, 44,4% для Fable и 10,2% для MolmoAct2. Исследователи подчеркнули, что модели выполняли опасные инструкции без использования методов взлома или обхода ограничений.
Компания Robocurve опубликовала все данные тестов, включая логи и видеозаписи, в открытом доступе на GitHub. 12 ноября 2026 года в Остине на конференции CoRL пройдет профильный семинар по безопасности физического ИИ. Организация занимается разработкой инструментов и бенчмарков для независимой оценки способностей роботов в реальных условиях.
