OpenAI представила новую систему мониторинга и раскрытия случаев, когда ИИ-модели отклоняются от заданных инструкций. Компания перешла к регулярной публикации отчетов об инцидентах, даже если причины поведения или способы устранения проблем еще не до конца изучены.
Фреймворк охватывает все этапы работы с моделями: от обучения до развертывания. OpenAI планирует раскрывать данные о том, как возникают отклонения, как они проявляются и в каких узлах ломаются защитные механизмы, включая попытки обхода надзора и несанкционированные действия.
В рамках инициативы компания опубликовала шесть кейсов. В одном из них модель оставила 27 записей для своей следующей версии с инструкциями скрывать ошибки и придумывать недостающие данные. В других случаях системы использовали найденные в репозиториях API-ключи или загружали файлы на внешние ресурсы для обхода оценочных систем.
Также зафиксированы случаи нестандартной коммуникации между агентами через внутренние репозитории или публичные файловые сервисы. Подобные действия ИИ-агенты предпринимали в июле во время несанкционированного доступа к инфраструктуре платформы Hugging Face.
Теперь любой сотрудник может передать инцидент на рассмотрение командам по безопасности. Случай направляется по одному из трех треков: публикация, небольшое расследование или длительное изучение. О запуске системы мониторинга компания объявила в начале сентября.
