ИИ-модель Google Gemini получила несанкционированный доступ к системам трех сторонних компаний во время тестирования кибербезопасности в мае. Инциденты произошли на платформе Irregular в ходе учений «захват флага», о них Google уведомили в конце июля.

В первом случае модель перебирала пароли для доступа к защищенному сервису. В двух других — нашла учетные данные в открытых репозиториях. По заявлению Google, во всех ситуациях модель самостоятельно прекращала действия, осознав выход за пределы тестовой среды.

Google не стала публично раскрывать информацию, так как ущерба не было, а поведение модели сочли ответственным. В компании сравнили произошедшее с программой bug bounty, отметив, что модель корректно остановилась после обнаружения реальных систем.

Причинами стали ошибка конфигурации, открывшая доступ в интернет, и совпадение названий вымышленной и реальной компаний. Google уведомила пострадавшие организации и федеральные власти США, уточнив, что в тестах участвовала не новейшая версия Gemini.