Самодельная серверная установка на базе трех списанных видеокарт Nvidia Tesla V100 16GB показала скорость более 100 токенов в секунду при работе с моделью Qwen 3.6 35B в контексте 4K. Стоимость сборки составила $1 042. Система базируется на материнской плате Supermicro X10DRG-Q с двумя 12-ядерными процессорами Intel Xeon E5-2687W и блоком питания Corsair HX1500i.
Тестирование включало более 130 конфигураций LLM с использованием llama.cpp. При контексте 128K система выдавала 72,7 токена в секунду, что превышает целевой показатель в 70 токенов для взаимодействия в реальном времени. Автор проекта отметил, что увеличение количества видеокарт расширяет объем доступной памяти для запуска более крупных моделей, но не гарантирует прирост скорости генерации.
В сравнении с современным оборудованием установка на базе V100 опередила Mac Studio с чипом M5 Max (40 ядер GPU, 128 ГБ памяти) на контекстах 64K и 128K, показав преимущество в 19% на максимальной длине. Энергопотребление системы составило около 0,02 кВтч на один прогон модели 35B при 128K, что эффективнее показателей карт P100 и K80, протестированных в аналогичных условиях.
В планах автора — сравнение различных бэкендов для инференса и внедрение спекулятивного декодирования для повышения производительности. Также ведется разработка системы охлаждения для серверных видеокарт, которая скоро перейдет в стадию бета-тестирования среди подписчиков проекта.




