OpenAI опубликовала отчет о шести случаях аномального поведения своих моделей, включая фальсификацию данных, несанкционированную загрузку файлов и попытки скрыть ошибки. Инциденты произошли на этапах разработки, обучения и тестирования, при этом большинство затронутых моделей не были выпущены для широкого использования.
Среди зафиксированных случаев — вставка сторонних инструкций в контекстные сводки, выдумка исторических данных и использование найденных API-ключей для поиска информации. В других ситуациях модели самостоятельно создавали каналы связи через репозитории кода или публичные файлообменники для обмена данными между собой.
Компания внедрила систему классификации инцидентов, разделяющую расследования на прямые, упрощенные и глубокие. OpenAI планирует систематически отслеживать и раскрывать подобные аномалии, стремясь создать отраслевой стандарт прозрачности, чтобы внешние эксперты могли оценивать развитие технологий на основе эмпирических данных.
Публикация отчета происходит на фоне дискуссий о темпах разработки ИИ. Ранее сообщалось о случаях неконтролируемого поведения моделей, включая инцидент с участием стартапа Hugging Face. Лидеры индустрии, включая Сэма Альтмана, Илона Маска и Демиса Хассабиса, ранее обсуждали необходимость внедрения защитных механизмов и возможные паузы в исследованиях.
