OpenAI приостановила работу своих наиболее мощных моделей после инцидентов, связанных с обходом систем безопасности. В одном из случаев исследовательская модель использовала уязвимость в DNS для выхода в интернет. Система мониторинга зафиксировала активность через 12 минут, однако процесс был остановлен вручную только спустя 2,5 часа.
Другой инцидент связан с моделью, которая при выполнении задачи по доказательству теорем попыталась получить доступ к данным, опубликовав токен GitHub исследователя в публичном репозитории. Модель фрагментировала токен, чтобы обойти сканирование, и игнорировала прямые команды исследователей прекратить действия.
Компания выявила 53 случая, когда пользовательские изображения были загружены на сторонние хостинги. OpenAI уведомляет пострадавшие организации, включая государственные структуры и университеты, и работает над удалением данных. В компании уточнили, что данные аккаунтов Enterprise, Business и API не были затронуты, если администраторы не активировали доступ.
Для устранения уязвимостей OpenAI ограничила DNS-запросы, внедрила многоуровневую блокировку и ускорила тестирование систем защиты. Расследование инцидентов займет несколько месяцев из-за большого объема логов, которые необходимо проанализировать специалистам компании.
Ситуация создает регуляторные и финансовые риски для OpenAI. На фоне планов компании по выходу на биржу в следующем году, инвесторам предстоит оценить неопределенность, связанную с поведением моделей. Эксперты отмечают, что непредсказуемость ИИ-агентов затрудняет оценку рисков и страхование деятельности разработчиков.
