Разработчик Cactus Compute представил Needle 2 — легковесную ИИ-модель размером 14 МБ, оптимизированную для процессора Raspberry Pi 5. Модель работает локально без использования дополнительных плат ускорения.
Needle 2 предназначена для управления оборудованием, а не для общения. На Raspberry Pi 5 с 8 ГБ оперативной памяти модель потребляет около 28 МБ ОЗУ, а при запуске демонстрационной программы на Python общий объем используемой памяти составляет 46,4 МБ.
Система преобразует команды в вызовы функций. Выполнение команды на включение светодиода занимает 78 миллисекунд, а запрос температуры процессора — 149 миллисекунд. Модель работает полностью автономно без обращения к облачным API.
Для привязки команд к функциям используется система Python-аннотаций. Если запрос не соответствует заданным функциям, модель возвращает пустое значение за 92 миллисекунды, не пытаясь генерировать ответ.
Веса модели Needle 2 опубликованы на платформе Hugging Face. Исходный код проекта доступен на GitHub и распространяется по лицензии Apache 2.0.
