Hermes Desktop представляет собой бесплатную сборку с открытым исходным кодом Hermes Agent под лицензией MIT. Приложение работает на macOS 12+, Windows 10/11 и любом дистрибутиве Linux. Для использования локальных моделей создание учетной записи не требуется.
Новая функция однокликовой настройки автоматически анализирует оборудование, подбирает модель, скачивает ее и конфигурирует среду выполнения. Процесс запускается при первом старте или через раздел Settings → Providers → Local Models. Система самостоятельно управляет движком вывода, загружая и обновляя сборку llama.cpp под конкретное железо.
Поддерживаются бэкенды CUDA, Metal, Vulkan, HIP и CPU. Программа оценивает модели из каталога по доступным ресурсам: зеленый цвет означает работу полностью в памяти GPU, желтый — частичный перенос в системную оперативную память, красный — модель слишком велика. Также отображается размер загрузки и границы контекстного окна.
Hermes выбирает максимально качественную сборку, которая полностью помещается в GPU, при этом нижний порог квантования составляет 4 бита. Модели, которые не работают в 4-битном режиме без использования системной памяти, считаются несовместимыми. Для всех рекомендуемых моделей гарантировано окно контекста от 64K.
При нехватке памяти GPU система переносит в оперативную память сначала веса экспертов, чтобы сохранить кэш внимания. Сжатие диалога начинается только после достижения моделью своего максимального окна. Неактивные модели выгружаются через 15 минут и загружаются снова при получении нового сообщения.
