Конвертация моделей из формата Hugging Face в GGUF необходима, если готовые квантованные версии отсутствуют или требуются специфические уровни сжатия, такие как Q4_K_M, Q5_K_M или Q8_0. Процесс состоит из перевода весов .safetensors в промежуточный файл F16 GGUF с последующим квантованием через утилиту llama-quantize.
Автоматизировать процесс позволяет скрипт convert_to_gguf.sh. Он проверяет системные зависимости, собирает llama.cpp, создает виртуальное окружение Python и загружает модели через CLI от Hugging Face. Скрипт принудительно использует CPU-версию PyTorch, что исключает необходимость установки драйверов CUDA.
Для предотвращения ошибок предусмотрены проверки: скрипт верифицирует, что загруженные файлы являются весами, а не указателями Git LFS, и проверяет размер итогового файла Q4. Механизм очистки автоматически удаляет промежуточные данные после успешного завершения или в случае сбоя, экономя дисковое пространство.
Поддержка архитектур зависит от наличия соответствующих обработчиков в директории llama.cpp/conversion/. Если для модели отсутствует файл-обработчик, конвертация невозможна без внесения правок в код. В таких случаях рекомендуется использовать библиотеку transformers напрямую.
