Разработчик обновил проект голосового ассистента «Альфа», добавив в него нейропроцессорный модуль (NPU) для запуска локальных больших языковых моделей. Цель проекта — создание приватного интерфейса для управления умным домом, который работает автономно без сторонних интернет-сервисов.
Аппаратная часть построена на одноплатном компьютере OrangePi 5 Ultra с процессором Rockchip RK3588. Чип оснащен NPU с производительностью 6 TOPS и поддержкой вычислений в форматах INT4, INT8, INT16 и FP16. В качестве постоянной памяти используется eMMC-модуль на 256 ГБ.
Программная платформа базируется на ОС Debian 13. Для интеграции нейросетей используется стек RKLLM от компании Rockchip. Процесс настройки включает установку библиотеки librkllmrt.so и компиляцию демонстрационной программы, в которую автор добавил модуль для отслеживания метрик производительности.
Для упрощения развертывания был подготовлен скрипт, автоматизирующий установку зависимостей и настройку системы. Для корректной работы RKLLM требуется наличие драйвера NPU версии не ниже 0.9.8.
Тестирование проводилось на модели Qwen3 с 1,7 миллиарда параметров. Для работы на чипе RK3588 модель требует предварительной конвертации и квантования, обычно в формате W8A8. Готовые сжатые модели можно загрузить из репозиториев, например с Hugging Face.
