Компания Conway Research выпустила Saluki 27B — ИИ-ассистента для локального запуска, распространяемого по лицензии Apache 2.0. Модель представляет собой 2-битную GGUF-версию Qwen3.8-27B и занимает 7,89 ГБ, тогда как полная версия в формате BF16 требует 54 ГБ.
Разработка модели включала три этапа: использование архитектуры Qwen3.8-27B, применение методов квантования от ISTA-DASLab и финальную оптимизацию от Underdog для сохранения навыков вызова инструментов. Модель работает в стандартном llama.cpp с поддержкой выгрузки на GPU.
В тестах Underdog Bench модель Saluki 27B набрала 88 баллов против 84 у исходной версии. В задачах на параллельный вызов инструментов модель показала результат 42 против 35 у оригинала. Для работы с изображениями предусмотрены дополнительные модули объемом 629 МБ или 928 МБ.
Несмотря на эффективность в вызове инструментов, модель уступает оригиналу в математических задачах и многошаговых рассуждениях, сохраняя около 82–85% от производительности полной версии. Также отмечаются редкие ошибки форматирования при параллельных вызовах.
