Автор собрал локальный вычислительный блок для работы с coding-агентами на базе процессора Core i7-4790, 32 ГБ ОЗУ и двух видеокарт RTX 3060 по 12 ГБ. Целью было использование модели Qwen3.8-27B с контекстом 128K без зависимости от облачных лимитов.
Изначально при распределении модели по слоям скорость на длинном контексте составляла около 9 токенов в секунду. Переход на тензорное распараллеливание (tensor split) позволил увеличить производительность до 16,09 токенов в секунду при 120K контекста.
Для работы использовалась версия llama.cpp b10991. Автор выяснил, что квантование KV-кэша до Q4 необходимо для предотвращения ошибок нехватки памяти (CUDA OOM) при заполнении контекста, что обеспечило стабильную работу с 128K токенов.
Эксперименты со спекулятивной декодировкой (MTP) показали высокую скорость на коротких запросах, однако из-за нехватки памяти пришлось сократить контекст до 96K. Использование библиотеки NCCL на данной конфигурации оказалось на 7% медленнее стандартного механизма.
Итоговая оптимизация позволила достичь средней скорости 39,6 токенов в секунду в реальных сессиях OpenCode. Автор отметил, что тензорное распараллеливание стало наиболее эффективным решением для имеющейся связки из двух видеокарт.
