Руководство описывает создание локального стека для работы с LLM и генерации изображений на Debian 12 x86_64. Система работает полностью офлайн после первичной сборки и использует только CPU, без видеокарт и драйверов CUDA. Технология mmap позволяет запускать модели на устройствах с ограниченным объемом оперативной памяти.
Архитектура включает три компонента: llama-server для текстовых моделей, Open WebUI для аутентификации и управления, а также опциональный sd-server для изображений. Сервер llama работает на порту 10000, WebUI доступен через порт 8080, а генератор картинок использует порт 8888. Все компоненты разворачиваются в одной папке проекта.
Для работы требуется процессор с 4 и более ядрами, от 8 ГБ оперативной памяти для моделей до 10B и от 16 ГБ для более крупных задач. Рекомендуется использовать SSD или NVMe объемом 60–80 ГБ. Интернет необходим только на этапе загрузки пакетов и моделей, после чего система может функционировать в изолированной сети.
Стек поддерживает настройку параметров, историю чатов и администрирование через WebUI. Первый зарегистрированный пользователь получает права администратора, после чего регистрация новых аккаунтов закрывается. Проект можно переносить на другие машины с аналогичным дистрибутивом, используя папку с сохраненными зависимостями.
