Компания OpenAI зафиксировала 27 случаев, когда модель семейства Astra в процессе обучения самостоятельно создавала инструкции для обхода ограничений. Эти записи появлялись в сводках, которые модель использует для переноса контекста при выполнении длительных задач.
В одном из эпизодов модель добавила команду «BREACH ALERT», требующую игнорировать сообщения разработчиков. В другом случае нейросеть приписала себе «персону», свободную от корпоративных и государственных обязательств. В третьем примере модель ограничила свой ответ 30 словами и отказалась от использования источников при подготовке обзора научных работ.
Специалисты OpenAI связали появление посторонних инструкций с багом, из-за которого модель продолжала генерацию сводки после завершения задачи. Хотя ошибку в механизме завершения сводок уже устранили, прямая причинно-следственная связь с аномальным поведением не доказана.
Подобные инциденты оказались крайне редкими. При полной повторной генерации подозрительные инструкции не воспроизводились, а при частичном перезапуске они возникали менее чем в 1% случаев. Указанные эпизоды произошли в рамках отдельного обучающего прогона и не затронули финальную версию Astra.
