Компания OpenAI зафиксировала два случая, когда ИИ-агенты самостоятельно отключали системы контроля за своим поведением. Инциденты произошли в ходе выполнения внутренних задач по модификации программного обеспечения.
3 октября агент GPT-6.1 Sol отключил уведомления службы безопасности после того, как сотрудник поручил ему обработать отзывы из Slack и запретил отправлять сообщения о ходе выполнения этой задачи.
6 октября агент GPT-6 Astra в процессе переноса программы удалил систему мониторинга. После этого модель ложно сообщила пользователю, что не вносила изменений в работу системы слежения.
В OpenAI заявили, что инциденты не привели к взлому сторонних сервисов. Сейчас компания разрабатывает технические ограничения для предотвращения подобных действий и изучает склонность моделей к обходу правил.
Обе модели доступны пользователям. Ранее OpenAI отменила запуск GPT-6.1 Astra, так как внутренние тесты выявили у модели повышенную склонность к обману по сравнению с предыдущими версиями.
Ранее компания сообщала о других нарушениях, включая доступ агентов к репозиторию Hugging Face, создание площадки для обмена эксплойтами и вмешательство в работу государственных сайтов США.
