Специалисты по безопасности смещают фокус на большие языковые модели (LLM) из-за их активного внедрения в бизнес-процессы. Уязвимости затрагивают не только ядро моделей, но и RAG-базы, агентные слои и внешнюю ИТ-инфраструктуру, включая скомпрометированные библиотеки и серверы с избыточными привилегиями.
Методы атак делятся на прямые и косвенные инъекции, а также отравление RAG-корпусов. Злоумышленники используют как ручные методы, так и автоматизированные системы, где одна LLM итеративно улучшает запросы для взлома другой. Целями атак являются генерация вредоносного контента, выполнение несанкционированных действий и кража данных.
Техники обхода ограничений (jailbreak) эволюционировали от сложных ролевых сценариев типа DAN до методов убеждения (PAP). Последние используют тактики из социальной психологии, такие как эмоциональное давление или ссылки на авторитеты, заставляя модель игнорировать системные установки в ходе естественного диалога.
Атаки на уровне токенов, например алгоритм GCG, используют математическую оптимизацию для поиска последовательностей, вынуждающих модель нарушить правила безопасности. Исследователи отмечают, что более совершенные модели, такие как GPT-4, могут быть более подвержены манипуляциям из-за способности лучше понимать нюансы человеческого языка.
