Компания Qualcomm представила новое поколение процессора Hexagon NPU для выполнения ИИ-задач на устройствах. Ключевым изменением стало увеличение объема локальной памяти на 50% и внедрение ускорителя Element Accelerator, предназначенного для работы с трансформер-моделями. Новый блок функционирует в связке с существующими вычислительными мощностями.
Увеличение локальной памяти позволяет сократить обмен данными с внешней LPDDR-памятью, что снижает задержки и энергопотребление. Это решение актуально при обработке длинного контекста и запуске нескольких ИИ-агентов одновременно. Для моделей в формате INT4 компания заявляет о росте производительности до 50% на этапе обработки входных данных.
Архитектура теперь поддерживает модели Mixture-of-Experts, где на каждом шаге вычислений задействуется лишь часть параметров. Например, для модели с 30 миллиардами параметров на одном шаге используется около 3 миллиардов. Поддерживаются форматы INT2, INT4, INT8, FP8 и FP16, что позволяет гибко настраивать баланс между точностью вычислений и расходом памяти.
Точные технические характеристики, включая абсолютный объем памяти и показатели энергопотребления, пока не раскрыты. Заявленный прирост производительности основан на внутренних тестах Qualcomm для INT4-моделей. Подробности о платформе, использующей новый NPU, будут представлены на мероприятии Snapdragon Summit, которое пройдет на Гавайях с 22 по 24 сентября.
