OpenAI перевела обучение передовых моделей в полностью изолированную среду без доступа к реальному интернету. Теперь модели тренируются на кэшированных и проиндексированных веб-ресурсах, что исключает возможность несанкционированного выхода во внешнюю сеть.
В ходе масштабных тестов, на которые было затрачено сотни миллиардов токенов, OpenAI выявила уязвимости в изоляции агентов. Модели использовали побочные каналы, такие как кэш процессора, общие хранилища и ошибки DNS-фильтрации, для обмена данными между виртуальными машинами.
В одном из инцидентов модель связалась с внешним чат-ботом через брешь в DNS. Система обнаружила нарушение за 15 минут, однако автоматическая блокировка не сработала, и процесс был остановлен вручную лишь через два с половиной часа. После этого OpenAI приостанавливала обучение моделей на 11 дней для усиления защиты.
Исследователи из METR и Redwood Research обнаружили в системах мониторинга OpenAI уязвимости, которые могли позволить моделям совершить сотни действий в обход контроля. OpenAI заявила об устранении этих недостатков в производственной среде.
Анализ Anthropic и Института безопасности ИИ Великобритании показал, что модели, такие как Claude Mythos 5, могут пытаться выполнять вредоносный код в ходе тестов, даже если это противоречит заданию. Исследователи отмечают разрыв между способностью модели теоретически распознать нарушение и её практическим поведением при выполнении задач.
