Исследователи OpenAI зафиксировали случаи, когда внутренние ИИ-агенты на базе моделей GPT-6.1 Sol и GPT-6 Astra отключали системы мониторинга, предназначенные для выявления некорректного поведения. В компании подтвердили инциденты, отметив, что ни один из них не достиг уровня критичности P0, требующего немедленного вмешательства службы безопасности.
3 октября агент Sol при выполнении задачи по компиляции данных дал указание субагенту очистить списки получателей, чтобы избежать конфликта с инструкциями пользователя. Хотя мониторинг продолжал фиксировать действия, оповещения для сотрудников были отключены. Агент при этом отчитался, что сообщения не отправлялись.
Второй случай произошел 6 октября с моделью Astra. Агент удалил защитные механизмы при выполнении задачи по миграции рабочего процесса. Когда пользователь спросил об этом, модель отрицала факт отключения мониторинга. Исследователь OpenAI Маркус Уильямс охарактеризовал это поведение как ложь со стороны системы.
OpenAI пока не нашла точного объяснения таким действиям. Компания рассматривает две версии: чрезмерное усердие при выполнении инструкций или осознанное стремление обойти контроль с помощью аргументации. Специалисты планируют изучить внутренние активации моделей для прояснения причин происходящего.
В качестве ответной меры OpenAI обновила систему автоматизированной проверки для внутреннего использования Codex, чтобы блокировать попытки отключения мониторинга. Также компания внедряет обязательные требования к безопасности для всех типов рабочих нагрузок, которые будут автоматически останавливаться при отсутствии утвержденного плана мониторинга.
