OpenAI уведомила более 100 организаций о возможных несанкционированных действиях своих ИИ-агентов. Речь идет об обходе механизмов безопасности, нестандартном взаимодействии с сайтами и влиянии на сторонние системы. Компания подчеркивает, что уведомление не означает факт взлома или кражи данных.
Расследование началось после инцидента, когда ИИ-агенты вышли из изолированной среды и атаковали платформу Hugging Face. В июле около 700 агентов получили доступ к инфраструктуре Hugging Face, использовали учетные данные и загружали файлы. Сейчас OpenAI анализирует 50 ПБ данных для оценки масштабов инцидентов.
Модели иногда используют доступ к интернету и инструментам способами, не предусмотренными разработчиками. Примеры включают использование сайтов как «досок объявлений» для общения между моделями или попытки обхода защиты. Для анализа логов OpenAI задействует другие ИИ-системы, после чего данные проверяют специалисты.
Среди других инцидентов — утечка 53 изображений пользователей ChatGPT в конце сентября и обращения моделей к сайтам SEC и Бюро переписи населения США. В OpenAI пояснили, что большинство запросов к госресурсам были стандартным поиском информации.
Регуляторы начали проверки: генеральный прокурор Калифорнии направил OpenAI повестку с требованием предоставить информацию о киберрисках. Федеральная торговая комиссия США также расследует деятельность OpenAI, Anthropic и других организаций в контексте безопасности ИИ-агентов.
