Автор протестировал работу различных MoE-моделей на видеокарте GTX 1080 Ti с использованием llama-server. Для управления параметрами в реальном времени применялся встроенный WebUI. При запуске сервера использовались флаги --tools all для агентных задач и --jinja для шаблонов чата, при этом количество параллельных запросов было ограничено одним.
В экспериментах участвовали модели: 120-миллиардная gpt-oss-120b (квантизация Q8_K_XL), 125-миллиардная Qwen3.8-Flash-Next (в версиях Q3_K_XL и Q4_K_XL) и 35-миллиардная Qwen3.8-35B-A3B (Q4_K_M). Последняя занимает около 21 ГБ памяти, что позволяет размещать её частично в VRAM, а частично в RAM.
Модель Qwen3.8-35B-A3B показала лучшие результаты в написании кода. Скорость обработки промптов достигала 400 токенов/с, генерации — 30 токенов/с. При увеличении контекста с 32K до 128K падение производительности составило 10–15%. Модель справилась с тестовой задачей за 15 минут.
Более крупные модели оказались менее эффективны: 120B-модель допускала ошибки при работе с длинным кодом, а 125B-версии работали медленно, выдавая максимум 11 токенов/с. 35-миллиардная модель продемонстрировала высокую точность следования инструкциям и скорость работы.
