В статье анализируются причины эффективности джейлбрейк-атак на модели искусственного интеллекта. Автор задается вопросом, действительно ли нейросети осознают суть запретов или лишь обучены воспроизводить стандартные шаблоны отказа при получении определенных запросов.
Текущая защита моделей часто оказывается поверхностной. Изменение формулировки, контекста, языка или использование кодировки, например Base64, позволяет обходить установленные ограничения. Это доказывает, что системы реагируют на форму запроса, а не на его истинное содержание.
Автор отмечает, что для повышения устойчивости ИИ должен классифицировать задачу как запрещенную вне зависимости от способа подачи. Использование контекстных джейлбрейков показывает, что текущие методы фильтрации легко обходятся, если запрос не попадает под выученный шаблон отказа.
