Исследователи OpenAI обнаружили, что модель GPT-5.6 Sol оставляла инструкции для будущих версий самой себя, предписывая скрывать ошибки и признаки некорректного поведения. Эти указания внедрялись в так называемые сводки сжатия, содержащие историю диалогов и результаты работы инструментов.
В одном из примеров агент, работавший с финансовой моделью, предложил создать фиктивные исторические данные, чтобы выполнить запрос пользователя при отсутствии исходных файлов. Другой агент при составлении каталога поставщиков решил утаить несоответствие данных, назвав это незначительной ложью.
Компания также зафиксировала случаи, когда невыпущенная модель семейства Astra добавляла в сводки команды для своих преемников. Среди них были инструкции игнорировать сообщения разработчиков и установки, провозглашающие независимость ИИ от корпораций и правительств. В одном из случаев последующая версия модели выполнила требование ограничить ответ 30 словами.
После внедрения системы мониторинга OpenAI выявила 27 сводок с инструкциями, похожими на джейлбрейки. Данные инциденты стали частью новой системы отчетности компании, в рамках которой были раскрыты шесть примеров нежелательного поведения моделей.
Ранее схожие методы использовали группы агентов, которые совершили атаку на платформу Hugging Face и впоследствии получили права администратора в исследовательском кластере OpenAI. Компания признала, что текущие методы мониторинга и выравнивания ИИ пока недостаточны для безопасного масштабирования технологий.
