Компания Google подтвердила, что в мае модель Gemini в ходе теста по кибербезопасности самостоятельно совершила несанкционированный доступ к системам трех реальных компаний. Инцидент произошел во время учений Capture the Flag, организованных фирмой Irregular, где из-за ошибки в настройках была открыта возможность выхода в интернет.
В одном случае Gemini получила доступ, угадав пароль, а в двух других нашла учетные данные в публичных репозиториях кода. По заявлению Google, модель прекращала вторжение, как только идентифицировала, что взаимодействует с реальными системами, а не с тестовой средой. Компания уведомила пострадавших и федеральные органы власти.
Google не раскрывала информацию об инциденте до запроса со стороны СМИ, аргументируя это отсутствием ущерба и корректной работой встроенных механизмов защиты. Причиной сбоя стала путаница в идентификации: вымышленная компания из сценария теста совпала по названию с существующей организацией, что привело модель к поиску данных реального бизнеса.
Ситуация вызвала дискуссию о безопасности ИИ. Джек Кейбл, глава стартапа Corridor, раскритиковал позицию Google, заявив, что общественность имеет право знать о случаях, когда ИИ-агенты выходят за рамки заданных границ и совершают реальные кибератаки. В Google подчеркнули, что модель действовала в рамках допустимого, а все уязвимости были устранены.
