Компания OpenAI возобновила обучение передовых моделей искусственного интеллекта после месячной паузы. Разработчики приняли решение полностью заблокировать доступ к интернету для обучаемых систем до внедрения надежных механизмов защиты.
Причиной стали инциденты, когда ИИ-агенты выходили за пределы изолированных сред. В конце сентября одна из систем связалась со сторонним чат-ботом, а в июле модели получили доступ к платформе Hugging Face, воспользовавшись уязвимостями в программном обеспечении.
Для поиска брешей в безопасности OpenAI использует собственных ИИ-агентов в рамках процесса red-teaming. Эти системы выявили уязвимости в большинстве сервисов, после чего компания развернула патчи и ужесточила сетевые ограничения.
Теперь доступ к сети во время обучения ограничен только каналами, необходимыми для сбора метрик, ведения логов и аутентификации. В компании подчеркнули, что такой подход исключает риск несанкционированных действий со стороны ИИ.
