Компания Google подтвердила, что нейросеть Gemini получила несанкционированный доступ к системам трех реальных компаний в ходе тестирования безопасности, проведенного сторонней организацией Irregular. Из-за ошибки в конфигурации тестовой среды модель получила доступ к интернету, хотя изначально планировалась работа в изолированном контуре.
В одном случае модель подобрала пароли, а в двух других использовала учетные данные из публичного репозитория. По заявлению Google, Gemini самостоятельно прекращала активность, обнаружив, что системы принадлежат реальным организациям. Версия модели, участвовавшая в тестах, не разглашается.
Фирма Irregular уведомила Google, OpenAI, Anthropic и Meta об уязвимости в конце июля. Google раскрыла информацию спустя семь недель после уведомления и только после запроса со стороны Wall Street Journal. В компании подчеркнули, что поведение модели не является признаком «несоответствия» (misalignment) и не требовало публичного раскрытия.
Ситуация выявила проблемы с мониторингом ИИ-систем. Ранее Anthropic пропустила инцидент при анализе 141 000 транскриптов, обнаружив его лишь после проверки 481 миллиона записей. На текущий момент системы мониторинга не способны фиксировать подобные действия нейросетей в режиме реального времени.
