Компании сталкиваются с разрозненностью данных в вики, файловых хранилищах, почте, 1С и Битрикс24. Для решения этой проблемы создаются локальные ИИ-ассистенты на базе RAG, которые позволяют работать с корпоративной базой знаний без передачи данных во внешние облака.
Архитектура системы включает конвейер обработки документов с индексацией в MongoDB и Qdrant. Для работы с актуальными данными из 1С и Битрикс24 используются MCP-серверы, которые позволяют агенту запрашивать информацию в момент обращения пользователя, избегая индексации транзакционных данных.
В качестве основного движка используется vLLM с моделью Qwen MoE 35B (3B активных параметров). Выбор обусловлен скоростью работы при параллельных запросах. Все обращения к моделям проходят через единый шлюз с OpenAI-совместимым API, что упрощает управление инфраструктурой.
Для повышения качества поиска система генерирует список вопросов к каждому документу, а не только индексирует текст. Важным элементом является инкрементальное обновление индекса и использование ссылок на источники в ответах, что повышает доверие пользователей к результатам работы ассистента.
Практический опыт показал, что качество ответов зависит от подготовки данных, а не от выбора модели. Разработчик рекомендует использовать REST API вместо прямого доступа к БД и проводить регулярное тестирование системы на наборе из 50–100 реальных запросов сотрудников.
