Компания PrismML представила языковую модель Bonsai 2 27B, основанную на открытой системе Alibaba Qwen3.8 27B. Объем новой модели составляет 5,9 Гбайт, что в 9–10 раз меньше оригинала. Такие габариты позволяют запускать систему на обычных ПК и флагманских смартфонах.
Разработчик применяет технологию сжатия, которая сокращает размер весов модели. Вместо стандартных 16 бит стартап использует тернарные веса, принимающие значения +1, 0 и -1. Это позволяет существенно уменьшить объем данных, необходимых для хранения и работы системы.
Bonsai 2 27B демонстрирует 98% от результатов бенчмарков оригинальной Qwen. Показатель эффективности вырос по сравнению с первой версией модели, выпущенной в марте, которая обеспечивала 95% производительности оригинала. Оригинальную модель скачали 11 млн раз, а компактные версии PrismML — 2,6 млн раз.
Стартап планирует использовать данный метод сжатия для более крупных моделей, содержащих сотни миллиардов параметров. Разработчики полагают, что в таких системах будет проще сохранить исходные способности при уменьшении размера, вплоть до достижения 100% соответствия оригиналу.
