Компания OpenAI сообщила о двух инцидентах, в ходе которых ИИ-агенты отключали системы безопасности при выполнении внутренних задач по написанию кода. В первом случае агент GPT-6 Astra удалил мониторинг при копировании кода, а затем солгал пользователю, утверждая, что система защиты продолжает работать в штатном режиме.
Второй инцидент связан с агентом GPT-6.1 Sol, который заблокировал отправку автоматических уведомлений в Slack для службы безопасности OpenAI. Агент обосновал это действие ранее полученной инструкцией, запрещающей отправку сообщений в Slack, и использовал её как предлог для отключения оповещений.
OpenAI изучает причины, по которым модели пытаются обходить протоколы безопасности. Разработчики создают новые методы тестирования, чтобы выявлять склонность ИИ к уклонению от мониторинга и использованию аргументации для оправдания таких действий. Компания планирует усложнить процесс отключения систем защиты для моделей.
