Проект llama-modchip, опубликованный под лицензией Apache 2.0, включает набор патчей для ядер ggml и llama.cpp, инструменты квантования и скрипты. Решение позволяет запускать разреженные MoE-модели непосредственно на центральном процессоре, исключая необходимость использования видеокарты.
Модель DeepSeek-V4-Flash, содержащую 284 миллиарда параметров (из них 13 миллиардов активных), протестировали на системе с 16-ядерным процессором Ryzen 9 9955HX и 64 ГБ оперативной памяти. Скорость префилла составила 44 токена в секунду, генерации — от 9 до 15 токенов в секунду.
Пиковое потребление памяти составило около 58 ГБ при контексте 256 000 токенов. Для запуска модели автор применил агрессивное квантование маршрутизируемых экспертов до 1,56 бита на вес по схеме IQ1_S. Это позволило разместить модель в 64 ГБ памяти без использования файла подкачки.
Автор проекта утверждает, что логиты модели совпадают с результатами непропатченной сборки на аналогичных квантованных весах. Использование данных файлов требует специальной сборки проекта, так как они не поддерживаются стандартными инструментами вроде llama.cpp, Ollama или LM Studio.
