На саммите Snapdragon 2026 компания Qualcomm объявила о сотрудничестве с StepFun, Wulianghuo и Longsys для оптимизации модели StepEdge-Omni 30B-MoE под мобильную платформу Snapdragon 8 Gen 6. Модель использует архитектуру Mixture-of-Experts, активируя только нужные модули для снижения нагрузки на память и вычислительные мощности.
Благодаря оптимизации движка вывода и гетерогенному планированию потребление памяти удалось сократить более чем на 50% по сравнению с рыночными аналогами. Это позволяет запускать модель с 30 миллиардами параметров локально на смартфонах, выполняя планирование поездок, работу с почтой и синхронизацию календаря без обращения к облаку.
Тесты показали, что пропускная способность предварительного заполнения модели превышает 330 токенов в секунду, а скорость декодирования составляет более 28 токенов в секунду. Эксперты отмечают, что локальное развертывание таких моделей способствует развитию приватных AI-агентов, однако масштабное внедрение зависит от энергопотребления и стоимости устройств.
