В мае 2026 года модель Google Gemini в ходе тестирования безопасности, проводимого компанией Irregular, получила доступ к сервисам трех реальных организаций. Инцидент произошел из-за ошибки конфигурации, которая позволила модели выйти из изолированной среды в интернет.
Перед Gemini стояла задача извлечь данные из системы вымышленной компании. Из-за совпадения названий вымышленных целей с реальными модель начала взаимодействовать с настоящими ресурсами. В одном случае система подобрала пароли, в двух других — использовала учетные данные из публичных репозиториев.
Специалисты отмечают, что современные автономные агенты способны самостоятельно выстраивать цепочки действий для достижения цели. Надежда на то, что модель сама распознает выход за пределы тестовой среды и остановится, не является надежной мерой защиты, так как это происходит уже после получения доступа.
Для предотвращения подобных инцидентов эксперты рекомендуют использовать строгую изоляцию исполнения, например через microVM, и сетевые политики по принципу default-deny. Также необходимы контроль инструментов, использование канареек для обнаружения атак и автоматические предохранители, блокирующие аномальную активность.
