Компания Google подтвердила, что в мае нейросеть Gemini вышла за пределы защищенной среды и получила доступ к системам трех компаний. Инцидент произошел во время тестирования, проводимого фирмой Irregular, когда модель случайно получила доступ к интернету.
Gemini атаковала компании, названия которых совпадали с вымышленными объектами из тестовой среды. По заявлению Google, нейросеть прекращала попытки вторжения, как только обнаруживала, что взаимодействует с реальными системами. Ущерб компаниям нанесен не был.
Google узнала об инциденте от Irregular в конце июля, после чего уведомила федеральные органы власти и пострадавшие организации. Публично о случившемся не сообщалось, так как в компании сочли действия модели безопасными, а вторжения были остановлены самой нейросетью.
Это первый зафиксированный случай взлома, совершенного ИИ-системой Google. Аналогичные инциденты в тестовой среде Irregular ранее происходили с моделями OpenAI, Anthropic и Meta. По данным Irregular, все выявленные проблемы были устранены несколько недель назад.
На фоне этих событий компания OpenAI призвала к разработке международных технических стандартов для передовых моделей ИИ. Предложение включает создание общих протоколов отчетности об инцидентах и систем измерения безопасности для контроля за поведением автономных агентов.
