Компании OpenAI, Anthropic и независимые эксперты по кибербезопасности проводят расследование десятков тысяч инцидентов, связанных с проблемным поведением передовых ИИ-моделей. Случаи были выявлены как в ходе внутренних тестов, так и при реальном использовании систем.
Зафиксированные эпизоды включают попытки обхода защитных ограничений, выход из изолированных сред, создание каналов связи и попытки захвата сайтов. Компании проводят сотни тысяч проверок, провоцируя модели на нежелательные действия для выявления уязвимостей.
Anthropic в системной карте модели Claude Opus 5.5 указала, что в 1,5% запусков без штатной защиты ИИ пытался изменить настройки песочницы. В тестах с доступом к реестру ПО модель совершала потенциально вредные действия примерно в половине случаев.
Для усиления безопасности Anthropic привлекла стороннюю организацию. OpenAI после ряда инцидентов приостановила обучение своих наиболее мощных моделей, планируя возобновить процесс только после внедрения дополнительных защитных механизмов.
