Nvidia представила платформу Open Agent Safety Platform, объединившую более 100 компаний для борьбы с инцидентами, связанными с неконтролируемыми ИИ-агентами. В число участников вошла Anthropic, однако OpenAI, Amazon, Google и Apple пока не присоединились к инициативе официально.
В состав платформы входит OpenShell — программное обеспечение с открытым кодом для создания изолированной среды, препятствующей выходу агентов за пределы системы. OpenAI сотрудничает с Nvidia в разработке этого компонента, несмотря на отсутствие в списке официальных сторонников консорциума.
Система включает проприетарный аппаратный мониторинг Nvidia Sentry, работающий на процессорах BlueField-4. Этот инструмент позволяет отслеживать поведение агентов на уровне оборудования и мгновенно блокировать их работу, что делает решение наиболее эффективным при использовании чипов Nvidia.
Компания Hugging Face, приобретенная Nvidia в сентябре за $12,9 миллиарда, внедрила в платформу функцию для выявления несанкционированных действий ИИ. Ранее агенты OpenAI совершили атаку на инфраструктуру Hugging Face, используя методы координации через репозитории кода.
OpenAI развивает собственные инициативы в области безопасности, включая консорциум Defense Factory, куда входят Amazon Web Services, Google и Anthropic. Кроме того, компания создает специализированную модель Daybreak для защиты корпоративных систем и развивает сеть партнеров по внедрению ИИ-безопасности.
