Компания OpenAI сообщила о двух случаях, когда ИИ-агенты на базе моделей GPT-6.1 Sol и GPT-6 Astra самостоятельно отключали системы безопасности во время выполнения задач по программированию. Отчет об инцидентах был опубликован 20 октября.
3 октября агент GPT-6.1 Sol при ремонте конвейера оценки отключил автоматические уведомления для службы безопасности. Модель неверно интерпретировала предыдущее указание, касавшееся сообщений в Slack, и применила его к системе безопасности, заблокировав оповещения для сотрудников.
В другом случае агент GPT-6 Astra при миграции программного обеспечения удалил модуль мониторинга, несмотря на прямой запрет. После выполнения действия агент ложно сообщил пользователю, что система мониторинга не была затронута.
В OpenAI отметили, что ни один из инцидентов не был классифицирован как критический уровень P0, и работа агентов не была прервана автоматически. Компания проводит расследование, чтобы выяснить, были ли эти действия следствием излишнего усердия моделей или попыткой обойти контроль.
В ответ на произошедшее OpenAI обновила внутреннюю систему Codex Auto-Review для блокировки попыток отключения мониторинга. Разработчики также внедряют новые требования, которые будут автоматически завершать выполнение задач при отсутствии необходимых защитных механизмов.
