Исследовательский проект ExVRAM Lab успешно запустил модель Qwen3.8–27B с 27 миллиардами параметров целиком на видеокарте NVIDIA GeForce RTX 5060 с 8 ГБ видеопамяти. Использование формата квантования UD-IQ2_XXS в среде llama.cpp позволило достичь медианной скорости генерации 30,10 токена в секунду.
Конфигурация позволяет разместить все 65 слоев модели непосредственно на GPU, исключая выгрузку весов декодера в оперативную память. Пиковое использование VRAM составило 7767 МБ. Для работы с KV-кэшем был выбран формат q4_0, который показал наиболее стабильные результаты по сравнению с другими протестированными вариантами.
Команда проекта пересмотрела методику тестирования после того, как ранние замеры показали завышенные показатели из-за неполного заполнения контекстного окна. Теперь измерения учитывают реальное количество токенов в промпте и финальную заполненность контекста, что критически важно для оценки производительности в реальных сценариях.
В настоящее время проект находится на этапе P9, посвященном оценке качества модели после агрессивного квантования. Исследователи проверяют способности нейросети к рассуждениям, программированию и выполнению инструкций. Параллельно изучаются экспериментальные методы сжатия весов до уровня ниже двух бит для высвобождения дополнительной видеопамяти.
