Разработчики Smart Engines оптимизируют нейросети для локальной обработки документов на смартфонах. Основная задача команды — достижение высокой скорости работы при ограниченных вычислительных ресурсах устройств. Для этого инженеры используют квантование, переводя вычисления с плавающей запятой в 8-битные целые числа.
Ранее компания представила 4.6-битные сети, которые сопоставимы по скорости с 4-битными моделями, но превосходят их по точности. Теперь специалисты пересмотрели способ накопления результатов умножения, сохраняя 8-битные веса и входные данные, но меняя алгоритм суммирования.
Новый подход предполагает использование последовательного усреднения по дереву вместо стандартного суммирования. Это позволяет дольше удерживать промежуточные результаты в 16-битном формате и эффективнее задействовать SIMD-регистры в процессе вычислений.
Эксперименты на архитектуре ARM NEON подтвердили, что данный метод сокращает время матричного умножения. Сейчас разработчики анализируют возникающую погрешность, её влияние на итоговую точность нейросетей и возможности восстановления показателей с помощью дообучения моделей.
