Разработчик Niko1221 представил движок Strata с открытым исходным кодом, позволяющий запускать квантованную версию модели Qwen3.8-Flash-Next со 125 миллиардами параметров на потребительских видеокартах. Модель, выпущенная командой Alibaba в августе 2026 года, представляет собой мультимодальную архитектуру «смесь экспертов» (MoE) с поддержкой контекстного окна в 262 000 токенов.
Для снижения нагрузки на видеопамять Strata загружает основную часть модели в оперативную память, оставляя в VRAM только наиболее часто используемые экспертные блоки. Также применяется метод спекулятивной декодировки с использованием облегченной модели для ускорения генерации. Минимальные требования включают 12 ГБ видеопамяти, 32 ГБ ОЗУ и 80 ГБ свободного места на диске.
Тестирование на NVIDIA GeForce RTX 5070 с 12 ГБ VRAM показало скорость 94 токена в секунду для 2-битной квантованной версии (Q2_0) и 53 токена в секунду для 3-битной (IQ3_S). При использовании видеокарты AMD Radeon RX 9070 XT с 16 ГБ VRAM скорость генерации для версии Q2_0 составила 60 токенов в секунду.
