Специалист компании KTS Катя Пославская отмечает, что многие компании сталкиваются с трудностями при выводе RAG-систем в промышленную эксплуатацию. Успешные результаты прототипирования часто нивелируются при работе с большими, шумными и постоянно обновляемыми корпоративными базами данных.
Основные проблемы связаны с управлением данными из множества источников и наличием большого числа владельцев контента. Актуальность корпоративных баз знаний, таких как Confluence, часто оказывается низкой, что создает риски выдачи неверных ответов клиентам.
Опыт разработки RAG-решений для корпоративных заказчиков в течение двух лет показывает, что галлюцинации LLM чаще всего вызваны не самой моделью. Для стабильной работы в проде требуется тщательная настройка всех этапов системы, от подготовки чанков до генерации ответов.
