Автор протестировал модель Qwen3.6-35B-A3B на связке из видеокарт RTX 5080 (16 ГБ) и RTX 3060 (12 ГБ). RTX 3060 была подключена через слот PCIe Gen2 x4 с пропускной способностью 2 ГБ/с, в то время как RTX 5080 работала через PCIe Gen3 x16.
Система показала скорость генерации 109 токенов в секунду на коротких промптах и 77 токенов в секунду при контексте 53 000 токенов. Использовался послойный сплит: слои модели распределены между картами, а по шине передаются только активации.
Автор отмечает, что архитектура MoE, активирующая около 3 млрд параметров из 35 млрд на токен, снижает нагрузку на шину. Медленный интерфейс PCIe Gen2 x4 не становится узким местом, так как веса остаются в памяти соответствующих видеокарт.
Анализ показал, что RTX 3060 была загружена на 62%, а RTX 5080 — на 15%. Основным ограничением стала последовательная цепочка вычислений: карты работают по очереди, что увеличивает латентность по сравнению с одной мощной видеокартой.
В конфигурации применялись llama.cpp с квантованием KV-кэша до q8_0 и загрузка через mmap. Автор опубликовал пресет для настройки подобных систем на GitHub, поддерживающий различные бэкенды, включая CUDA.
