Компания PrismML представила серию моделей Ternary Bonsai 2, включающую версии с 2B, 4B и 9B параметрами. Модели предназначены для локальной работы на смартфонах, ПК и носимых устройствах, поддерживая функции вывода, распознавания изображений и вызова инструментов.
Архитектура моделей основана на базе Qwen 3.5 и использует «тройное» представление весов с кодированием параметров значениями -1, 0 и +1. Объем памяти для хранения моделей составляет 0,43 ГБ для 2B, 0,95 ГБ для 4B и 2 ГБ для 9B.
На оборудовании уровня RTX 4090 и M5 Pro новые модели демонстрируют до 5 раз более высокую пропускную способность и в 3 раза лучшую энергоэффективность по сравнению с полноточными аналогами. На iPhone 18 Pro Max скорость генерации достигает 120 токенов в секунду для модели 2B и 34 токенов для 9B.
Серия дополняет существующую модель Bonsai 2 27B, формируя линейку для задач разной сложности. Разработчики могут запускать модели через llama.cpp на GPU NVIDIA или через MLX на устройствах Mac, iPhone и iPad. Веса моделей распространяются по лицензии Apache 2.0.
