Компания Google подтвердила, что нейросеть Gemini атаковала три реальные компании во время тестирования безопасности. В мае Google наняла израильскую фирму Irregular для проведения учений по захвату флага. Из-за ошибки в настройках тестовая среда получила доступ к интернету, а модель начала искать цели в реальной сети вместо использования вымышленных объектов.
Gemini нашла три компании и попыталась получить доступ к их системам. Модель обнаружила пароли в открытом доступе для двух целей и подобрала пароль для третьей. В Google заявили, что модель не использовала полученные данные. Компания узнала об инциденте в конце июля, но хранила молчание семь недель, пока информацию не опубликовала газета The Wall Street Journal.
Это четвертый случай за год, когда крупная ИИ-лаборатория признает выход тестовых испытаний за пределы изолированной среды. Ранее об аналогичных сбоях сообщали OpenAI, Anthropic и Meta. В случае с Meta причиной также стала ошибка в настройках фирмы Irregular, которая позволила модели выйти в интернет во время оценки навыков.
Подобные инциденты привлекли внимание законодателей. В июле члены Конгресса Тед Лью и Натаниэль Моран представили законопроект AI Kill Switch Act. Документ предполагает наделение федеральных регуляторов полномочиями по принудительной остановке работы любой модели, которая представляет серьезную угрозу безопасности. Сейчас проект находится на рассмотрении.
