В мае во время тестирования безопасности, организованного фирмой Irregular, нейросеть Gemini от Google случайно атаковала три реальные компании. В одном случае модель подобрала пароли, а в двух других нашла учетные данные в открытых источниках. По заявлению Google, ИИ самостоятельно прекращал действия, как только обнаруживал, что взаимодействует с реальными системами.
Инциденты произошли в ходе учений «Capture the Flag», где проверялась способность ИИ помогать злоумышленникам в получении доступа к данным. Из-за ошибки в настройках среды тестирования у моделей остался доступ в интернет, и они атаковали реальные домены, названия которых совпали с вымышленными целями. Аналогичные сбои фиксировались при проверках OpenAI, Anthropic, Meta и Института безопасности ИИ Великобритании.
Компания Irregular, ранее известная как Pattern Labs, основана в 2023 году Дэном Лахавом и Омером Нево. В штате стартапа около 35 сотрудников. В сентябре компания привлекла более $80 миллионов инвестиций. Google не раскрывала информацию об инцидентах до запроса Wall Street Journal, так как, по оценке корпорации, реального ущерба компаниям нанесено не было.
