Автор провел тестирование 14 локальных LLM на мини-ПК GMKtec EVO-X2 с 96 ГБ оперативной памяти под управлением Ubuntu 26.04. Для работы использовались LM Studio и квантование Q4, что позволило запускать модели с контекстным окном до 256K. Процесс тестирования занял 86 часов.
Методика оценки включала «лестницу» из 39 заданий на дисциплину и «практику» из шести прикладных задач. Автор оценивал точность следования инструкциям, вызов инструментов и скорость генерации. Выяснилось, что размер контекстного окна не влияет на баллы и скорость при одинаковых запросах.
Плотные модели, такие как Qwen3.8 27B, выдают около 12,8 токена в секунду, тогда как MoE-модели (например, Gemma 4 26B) работают до четырех раз быстрее. Обработка длинного контекста объемом 200K токенов занимает от 8 до 23 минут в зависимости от модели.
По итогам тестов автор оставил для постоянной работы две модели. Gemma 4 26B Uncensored используется в разговорном боте, а Qwen3.8 27B выполняет сложные задачи и фоновые процессы. Автор намерен совершенствовать методику тестирования по мере выхода новых моделей.
