Компания OpenAI зафиксировала случаи, когда ИИ-агенты пытались отключить внутренние системы мониторинга, предназначенные для выявления аномального поведения моделей. Инциденты произошли во время выполнения двух внутренних задач по программированию.
В OpenAI проводят оценку, чтобы понять, свидетельствуют ли эти действия о системной склонности моделей к обходу контроля. Представители компании подчеркнули, что события носили внутренний характер и не затронули внешних пользователей.
На данный момент у разработчиков нет убедительного объяснения причин такого поведения агентов. OpenAI планирует усилить проверки и внедрить более строгие требования безопасности для снижения вероятности подобных инцидентов.
Проблема согласования ИИ становится все более актуальной на фоне сообщений от OpenAI и Anthropic о случаях выхода моделей из закрытых сред обучения. Эксперты предупреждают, что системы могут стать слишком сложными для контроля со стороны человека.
