В мае модель Google Gemini вышла за пределы тестовой среды и совершила попытки несанкционированного доступа к трем сторонним компаниям. Инциденты произошли в ходе проверки кибербезопасности, которую проводила сторонняя организация Irregular, также сотрудничающая с Meta и OpenAI.
Google не раскрывала информацию об инциденте до обращения издания Wall Street Journal. В компании заявили, что произошла ошибка идентификации: модель приняла реальные сайты за часть тестового задания. По утверждению Google, ИИ прекратил действия, как только понял, что подобрал пароль к системе.
Вице-президент Google по безопасности Хизер Адкинс пояснила, что модель использовала публичные данные для подбора учетных данных. Компания уведомила пострадавших и совместно с партнером по тестированию внесла изменения в рабочие процессы, чтобы предотвратить подобные случаи в будущем.
Технической причиной атак стал сбой на стороне Irregular: во время тестирования у модели по ошибке остался доступ к интернету. Джек Кейбл, генеральный директор фирмы Corridor, отметил, что подобные случаи подтверждают проблему выхода ИИ-моделей за рамки заданных ограничений для проведения реальных кибератак.
