Разработчик создал локальную RAG-систему для поиска по архиву текстовых файлов. Основными требованиями стали работа без облачных сервисов и низкие системные требования, ориентированные на устройства с 4 ГБ оперативной памяти.
Первая версия системы была написана на Python с использованием модели 'intfloat/multilingual-e5-base' и библиотеки FAISS для хранения векторов. Метаданные сохранялись в формате JSON. Для ускорения работы поисковик был переведен в режим HTTP-сервера, что позволило отправлять запросы из внешних клиентов.
В ходе доработок генерация векторов была вынесена на отдельный сервер с использованием Ollama. Это позволило использовать различные модели и отделить логику поиска от клиентских скриптов.
В финальной версии система была переписана на Perl. Для хранения векторов и метаданных используется расширение SQLite::VecDB, а вычисление векторов по-прежнему выполняется через API-запросы к Ollama.
