Модель Qwen3.8-Flash-Next построена на архитектуре 125B Mixture-of-Experts (MoE), имеет 51B n-gram embedding и контекстное окно в 262K токенов. Полный чекпоинт модели в формате bfloat16 занимает около 360 ГБ на Hugging Face, при этом таблица n-gram embedding занимает примерно 102 ГБ.
Для локального запуска на потребительском железе используется библиотека AirLLM, которая применяет послойный вывод (layer-wise inference) и memory mapping (mmap) для n-gram таблицы. Это позволяет запустить модель на GPU с 8 ГБ VRAM и системе с 64 ГБ оперативной памяти, так как декодер стримится с диска, а n-gram таблица остается на SSD.
В ходе тестов на одной RTX 4090 пиковое потребление VRAM составило 5,95 ГБ без использования 4-битной квантизации и дистилляции. Для работы требуется SSD с несколькими сотнями гигабайт свободного места, чтобы хранить исходный чекпоинт и его разбиение по слоям при первом запуске.
Модель зарегистрирована в Hugging Face как Qwen4ExpForConditionalGeneration и интегрирована в библиотеку transformers. Она предназначена для задач программирования, работы с агентами и обработки скриншотов через native vision. Библиотека AirLLM распространяется по лицензии MIT.