AnythingLLM — это open-source приложение для создания базы знаний из локальных файлов и работы с ними через различные LLM. Система поддерживает форматы PDF, DOCX, TXT, веб-страницы и аудио через Whisper. Инструмент позволяет организовать работу с документами без прямой подписки на OpenAI.
Приложение доступно в двух вариантах: десктопная версия для индивидуальной работы и Docker-контейнер для серверного использования. Docker-версия поддерживает многопользовательский режим, разграничение прав доступа и встраиваемые чат-виджеты. В версии 1.13.0 появился Model Router для автоматического выбора модели под конкретный запрос.
Для обработки данных используется технология RAG: документы разбиваются на фрагменты и векторизуются. По умолчанию используется база LanceDB, но возможна интеграция с PGVector, Chroma, Milvus и другими. Встроенный движок в свежих версиях базируется на Lemonade от AMD для работы с GGUF-моделями.
Вопрос безопасности остается актуальным: в версиях до 1.13.0 была обнаружена уязвимость CVE-2026-48116, позволявшая выполнять произвольный код в Docker-контейнере. На момент подготовки материала актуальной версией является 1.19.0. Пользователям рекомендуется своевременно обновлять ПО для защиты инфраструктуры.
Для подключения сторонних моделей, таких как Claude, GPT или DeepSeek, используется адаптер Generic OpenAI. При интеграции через шлюз Bothub (адрес https://openai.bothub.chat/v1) пользователи могут оплачивать доступ российскими картами. Настройка требует указания корректного ID модели и параметров контекстного окна.
