Компания PrismML разработала специализированную версию языковой модели Bonsai, предназначенную для локальной работы на умных очках с чипами Qualcomm Snapdragon. Демонстрация 1-битной модели прошла на мероприятии Snapdragon Summit на базе платформы Snapdragon AR1 Gen 1.
Модель содержит 2 миллиарда параметров и оптимизирована для обработки текстовой и визуальной информации. Разработчики сжали модель в четыре раза, сохранив качество работы на уровне 4-битных систем. Это позволяет пользователям получать ответы о том, что они видят, в режиме реального времени.
Архитектура и веса модели оптимизированы для нейропроцессора Hexagon. Решение потребляет в четыре раза меньше памяти и генерирует токены более чем вдвое быстрее аналогов. Использование локальных вычислений позволяет снизить зависимость от облачных сервисов и повысить конфиденциальность данных.
PrismML выпускает модели с открытыми весами, задействуя вычислительные мощности самих устройств. Стартап и Qualcomm Technologies планируют продолжить сотрудничество для дальнейшей оптимизации моделей Bonsai под аппаратные платформы Snapdragon.
