Тестирование модели Qwen 3.8 27B показало, что одного объема видеопамяти недостаточно для высокой производительности. Итоговая скорость работы сильно зависит от выбора движка вывода, такого как llama.cpp, vLLM или SGLang.
При использовании RTX 5090 с 32 ГБ памяти движок llama.cpp демонстрирует низкую скорость на длинных контекстах. Конфигурация с двумя RTX 5090 позволяет задействовать полный контекст 262K и достичь 100–110 токенов в секунду при включенном MTP.
Стоимость протестированной платформы с двумя RTX 5090 превышает $13 000. Движок SGLang на одной карте RTX 5090 оказался почти в три раза быстрее, чем vLLM, однако для работы с полным контекстом модели все равно требуется установка второй видеокарты.
Карты RTX 4090 и 3090 с 24 ГБ памяти ограничивают длину контекста примерно до 112K токенов. Эти устройства требуют тщательного управления ресурсами, так как не способны поддерживать нативный лимит контекста модели в 262K.
Система DGX Spark стоимостью около $5 000 показывает конкурентные результаты в обработке промптов. Платформы на базе Mac Studio и Ryzen AI Halo демонстрируют неоднородную производительность, где эффект от использования MTP зависит от архитектуры конкретной системы.
