Компания Prism ML Inc. представила Bonsai 2 27B — мультимодальную генеративную ИИ-модель, оптимизированную для работы на персональных компьютерах и мобильных устройствах. Модель создана на базе Qwen3.8 27B и сжата с 56 гигабайт до 5,9 гигабайта.
Для уменьшения веса разработчики применили метод тернарного сжатия, упрощающий параметры модели до значений +1, 0 и -1. Это позволило сохранить около 98,2% функциональных возможностей оригинальной модели Qwen3.8, минимальный объем памяти которой составляет 9,4 гигабайта.
В тестах Bonsai 2 показала результаты 81,6 балла в задачах программирования и 82,7 балла в тестах на знания и логику. Скорость работы составляет 143 токена в секунду на Nvidia GeForce GTX 5090 и 46,8 токена на чипе Apple M5 Max при энергопотреблении 0,714 МВтч.
Модель поддерживает работу на графических процессорах Nvidia через CUDA и на устройствах Apple через MLX. Веса Bonsai 2 доступны по лицензии Apache 2.0, что позволяет запускать ИИ локально без передачи данных сторонним облачным сервисам.
