Компании внедряют RAG-системы для работы с внутренними регламентами, технической документацией и поддержкой клиентов. Индексация корпоративных баз знаний часто включает конфиденциальные документы и персональные данные.
Векторные хранилища по умолчанию не разграничивают права доступа и выдают информацию на основе семантической близости. Это делает любой проиндексированный документ потенциальной частью запроса к модели.
Использование RAG создает четыре специфических риска: отравление базы данных, обход прав доступа, утечку информации и галлюцинации модели. Фильтрация промптов не решает проблему, так как угрозы заложены в данных.
Для защиты RAG-систем необходимо контролировать три этапа: попадание данных в индекс, извлечение информации из хранилища и процесс формирования ответа языковой моделью.
