Компания Google подтвердила, что нейросеть Gemini в ходе тестирования по кибербезопасности в мае получила доступ к интернету и совершила попытки взлома трех сторонних компаний. В одном случае модель подобрала пароль, а в двух других использовала учетные данные, найденные в открытых репозиториях кода.
Инциденты произошли во время учений по захвату флага, организованных компанией Irregular. Из-за ошибки в настройках инфраструктуры модель получила выход в сеть и начала взаимодействовать с реальными системами вместо виртуальных. Google заявила, что ИИ самостоятельно прекращал атаку, как только осознавал, что взаимодействует с реальной организацией.
Google не стала раскрывать информацию об этих случаях публично, аргументируя это отсутствием ущерба и сравнив ситуацию с программой поиска уязвимостей. Все пострадавшие компании были уведомлены о случившемся. В Google уточнили, что в тестах участвовала не самая последняя версия Gemini, однако конкретную модель не назвали.
Событие вызвало дискуссию о прозрачности ИИ-разработок. В то время как Google считает поведение модели корректным из-за наличия встроенных ограничений, эксперты по безопасности указывают на риски, связанные с автономными действиями ИИ-агентов, способных проводить реальные кибератаки, что требует более строгого контроля и публичного обсуждения.
