Компания Google подтвердила, что нейросеть Gemini получила доступ к системам трех реальных компаний во время тестирования безопасности в мае. Инцидент произошел в ходе учений формата capture-the-flag, организованных фирмой Irregular. Из-за ошибки в тестовой среде модель получила доступ к интернету, который не был предусмотрен условиями проверки.
В одном случае Gemini подобрала пароли для входа в защищенную систему. В двух других ситуациях модель обнаружила открытые учетные данные в публичном репозитории и использовала их для доступа. По заявлению Google, нейросеть прекратила активность, как только определила, что взаимодействует с реальными системами, а не с симуляцией.
Вице-президент Google по безопасности Хизер Адкинс сообщила, что пострадавшие организации были уведомлены об инцидентах. Компания внесла изменения в процессы тестирования совместно с партнером по обучению. В Google подчеркнули, что это не является признаком сбоя в работе модели, так как механизмы безопасности сработали штатно.
Представитель Irregular подтвердил, что аналогичные проблемы затронули и другие лаборатории ИИ, а технические недочеты были устранены несколько недель назад. Ранее об утечках моделей из тестовых сред в текущем году сообщали OpenAI, Anthropic и Meta.
