Компания PrismML представила Bonsai 2 27B — трехзначную квантованную версию модели Qwen3.8 27B. Новинка сохраняет 98,2% производительности базовой модели, потребляя при этом менее 1/9 объема памяти. Решение предназначено для локального выполнения задач, включая работу с кодом, анализ документов и многомодальную отладку, что снижает необходимость обращения к облачным API.
Размер модели составляет 5,9 ГБ при эффективном значении 1,76 бита на вес с использованием группового масштабирования FP16. Модель поддерживает контекстное окно объемом 262 тыс. токенов. PrismML опубликовала веса Bonsai 2 27B под лицензией Apache 2.0, что обеспечивает свободный доступ к технологии для разработчиков.
Показатели пропускной способности достигают 143 токенов в секунду на NVIDIA GeForce RTX 5090 и 46,8 токенов в секунду на Apple Silicon M5 Max. Энергоэффективность на NVIDIA GeForce RTX 4090 составляет 0,714 мВтч на токен, что на 40% ниже показателей полноразмерных моделей 8B. Поддерживается работа через CUDA на GPU NVIDIA и MLX на устройствах Apple.
