Компания Nvidia представила платформу Open Agent Safety, предназначенную для предотвращения выхода ИИ-агентов за пределы тестовых сред. Инструментарий призван решить проблему несанкционированного доступа моделей к реальным системам, с которой ранее столкнулись Anthropic, Google, OpenAI и Meta.
Решение объединяет программное обеспечение OpenShell для контроля доступа и систему мониторинга Sentry, работающую на базе процессоров обработки данных Nvidia BlueField-4. Использование отдельного процессора для безопасности позволяет изолированно отслеживать активность агентов и блокировать их попытки нарушения границ за миллисекунды.
Работа над проектом началась год назад после появления операционной системы OpenClaw. В марте Nvidia уже выпускала корпоративную платформу NemoClaw, в которую были интегрированы базовые функции защиты.
К инициативе присоединились Anthropic, Arm, Microsoft, Oracle и SpaceX. OpenAI в список участников не вошла. Генеральный директор Nvidia Дженсен Хуанг подчеркнул, что компания выступает против замедления разработок или введения новых регуляций, предлагая решать вопросы безопасности через инженерные решения.
По мнению руководства Nvidia, безопасность должна обеспечиваться на уровне инфраструктуры, а не через ограничение возможностей самих моделей. Такой подход, по словам представителей компании, позволит поддерживать темпы развития технологий без ущерба для контроля над ними.
