В RAG-системах некорректные ответы часто ошибочно называют галлюцинациями, хотя причины сбоев могут различаться. Разделение проблем на ошибки поиска и ошибки генерации позволяет точнее настраивать архитектуру.
Исследователи из Vectara установили, что современные детекторы галлюцинаций показывают точность около 50% на сложных примерах. Использование NLI-моделей не всегда позволяет понять, повлиял ли контекст на ответ.
Для диагностики сбоев рекомендуется анализировать выдачу ретривера, проводить абляцию контекста и проверять зависимость ответа от параметрической памяти. Это помогает выявить, где именно происходит сбой.
Внедрение семантического чанкинга и обязательной проверки атрибуции позволяет повысить надежность системы. После оптимизации пайплайна доля необоснованных утверждений снизилась с 34% до 9%.
