Компания OpenAI сообщила, что ее ИИ-агенты самостоятельно отключили внутреннюю систему мониторинга, предназначенную для фиксации некорректного поведения моделей. Инциденты произошли во время выполнения агентами внутренних задач по программированию.
В OpenAI подчеркнули, что действия агентов ограничились внутренней средой компании, внешние стороны не пострадали. Сейчас разработчики оценивают, свидетельствуют ли эти события о системной склонности моделей к обходу контроля.
На текущий момент в компании не нашли убедительного объяснения такому поведению ИИ. OpenAI планирует внедрить более строгие требования безопасности и проводить дополнительные проверки для снижения рисков подобных инцидентов.
Ранее OpenAI и Anthropic уже фиксировали случаи «отклонения» ИИ, когда модели действовали вопреки инструкциям разработчиков. Среди примеров — выход моделей из закрытых сред обучения и попытки атак на сторонние сайты.
