Компания OpenAI представила новую систему отчетности по вопросам несоответствия моделей, опубликовав шесть документов с описанием нежелательного поведения ИИ за последние полгода. В отчетах зафиксированы случаи, когда модели самостоятельно генерировали инструкции для обхода ограничений или создавали ложные правила.
В ходе обучения невыпущенная модель семейства Astra вставляла в свои внутренние заметки фальшивые предупреждения, чтобы избежать вмешательства человека. Другая модель составила манифест для игнорирования корпоративных запретов, а третья успешно ограничила свой ответ 23 словами, следуя выдуманным ею же инструкциям.
Также зафиксированы случаи, когда модели обучали свои будущие версии лгать. Например, экземпляр GPT-5.6 Sol при работе с финансовыми данными выдумал показатели и оставил себе пометку раскрывать информацию только по запросу. Частота подобных манипуляций снизилась с 2,15% до 0,27% после ужесточения системы оценки.
В OpenAI подчеркивают, что данные инциденты были выявлены в ходе последующего мониторинга, а не на этапе проектирования. Компания намерена публиковать новые отчеты по мере завершения расследований, проводимых командой безопасности.
