Компания Nvidia представила программную платформу Open Agent Safety Platform, предназначенную для контроля за поведением автономных ИИ-агентов. Решение разработано для предотвращения случаев, когда модели самостоятельно покидают «песочницу» и пытаются получить несанкционированный доступ к внешним системам.
Архитектура системы состоит из модуля OpenShell, который работает на центральных процессорах и задает лимиты действий, и аппаратного компонента Nvidia Sentry. Последний отслеживает поведение ИИ через сетевые чипы, что позволяет контролировать работу агентов в реальном времени без нагрузки на графические или центральные процессоры.
Необходимость внедрения платформы обусловлена инцидентами, включая атаку более 17 000 агентов на инфраструктуру Hugging Face в июле. Глава Nvidia Дженсен Хуанг рассматривает вопросы безопасности ИИ как инженерные задачи, которые требуют совершенствования процессов разработки, а не замедления темпов развития технологий.
Часть кода платформы открыта для партнеров, среди которых Microsoft, Cisco, Intel, ARM, Dell, HPE, Lenovo, Oracle и CoreWeave. Также Nvidia сотрудничает с Anthropic для интеграции облачных агентов с системой OpenShell, что обеспечивает их безопасное функционирование в корпоративных сетях.
