Для развертывания персонального LLM-сервера на домашнем ПК требуется процессор с 8 ядрами и 32 ГБ оперативной памяти. Наличие видеокарты с 12 ГБ видеопамяти позволяет ускорить работу моделей объемом 7–8B, которые в противном случае функционируют на базе CPU.
Настройка сервера выполняется через установку рантайма Ollama и загрузку модели, например, llama3.1:8b. Для доступа к API из домашней сети необходимо изменить параметр OLLAMA_HOST на 0.0.0.0:11434 в конфигурации службы и перезапустить её.
Удаленный доступ к локальному серверу реализуется через туннелирование с помощью сервиса nozi.io. Это позволяет получить постоянный адрес для подключения извне, минуя ограничения NAT и использование серых IP-адресов.
Для поддержания стабильного соединения туннель оборачивается в службу systemd с автоматическим перезапуском. Автор настоятельно рекомендует внедрить проверку токенов авторизации на входе, чтобы исключить риск несанкционированного доступа к открытому в интернет API.
