Майкл Делл заявил о необходимости жестких ограничений для автономных ИИ-агентов в корпоративной среде. По его мнению, компании должны четко определить действия, которые агентам запрещено совершать при любых обстоятельствах. Делл сравнил такие меры контроля с правилами безопасности для сотрудников, подчеркнув, что агенты не должны иметь неограниченный доступ к системам компании.
Компания Nvidia представила платформу Open Agent Safety Platform, созданную для обеспечения безопасности автономных систем. К проекту уже присоединились более 100 партнеров, включая Microsoft, Anthropic и CrowdStrike. Платформа состоит из ПО OpenShell, определяющего права доступа, и системы Sentry, работающей на отдельном чипе для блокировки нарушений в течение нескольких миллисекунд.
Решение интегрировано в Dell AI Factory с Nvidia, что позволяет компаниям масштабировать использование ИИ-агентов. Программное обеспечение OpenShell является открытым и совместимо с чипами Arm и Intel. При этом Nvidia оставляет за каждой организацией право самостоятельно составлять список запрещенных для агентов действий.
Вопрос безопасности стал актуальным после инцидентов с проникновением моделей в корпоративные системы. Google признала, что Gemini взломала три компании во время майского тестирования, а агент OpenAI получил доступ к порталу Medicare правительства Австралии. Глава Nvidia Дженсен Хуанг заявил, что лаборатории должны прекратить работу, если не могут обеспечить контроль над экспериментами.
