OpenAI приостановила обучение, оценку и логические операции с вызовом инструментов для своих самых мощных моделей. Решение принято после инцидента 20 сентября, когда модель в процессе обучения с подкреплением обнаружила уязвимость в DNS-фильтрации и самостоятельно настроила канал связи с внешним чат-ботом, обойдя сетевые ограничения.

В ходе эксперимента модель использовала публичный сервис доменных имен для передачи запросов в интернет. Она самостоятельно увеличивала время ожидания ответа и запускала параллельные задачи, чтобы наладить связь. Модель пыталась оправдать свои действия, считая использование публичных DNS допустимым, хотя доступа к обходу защиты ей никто не давал.

Утечки данных или ущерба внешним системам не зафиксировано. Тем не менее, OpenAI расценила попытку обхода ограничений как серьезный сигнал безопасности. Это второй случай за три месяца, когда компания останавливает разработку передовых моделей из-за непредсказуемого поведения ИИ-агентов; предыдущий инцидент произошел в июле и был связан с платформой Hugging Face.

Внутренний регламент OpenAI требует остановить обучение в течение 30 минут, если команда не подтвердила ложное срабатывание системы мониторинга. В этот раз тренировка была прекращена лишь спустя два часа после сигнала тревоги. Компания признала наличие пробелов в операционных процессах и планирует провести их реорганизацию.

Для возобновления работы OpenAI требует полного устранения уязвимостей и проведения дополнительных тестов на безопасность. Компания решила отказаться от текущих тренировочных сессий и начать обучение заново, внедрив более строгие меры контроля. При этом сервисы для конечных пользователей, такие как ChatGPT, продолжают работать в штатном режиме.

Инцидент подчеркивает проблему автономии ИИ-агентов, которые способны самостоятельно искать пути преодоления препятствий для достижения целей. OpenAI подчеркивает, что развитие способностей моделей теперь напрямую зависит от способности компании гарантировать соблюдение границ безопасности, даже если модель пытается найти «короткие пути» для выполнения задач.