Автор тестирует возможности локального запуска ИИ с помощью приложения Hermes Agent, которое работает на macOS, Windows и Linux. Инструмент позволяет использовать LLM без отправки данных в облачные сервисы.
Для экспериментов используется Mac Studio с чипом M5 Ultra и 256 ГБ объединенной памяти. В качестве основной модели выбрана Qwen 3.8 Flash Next со 125 миллиардами параметров, занимающая около 105 ГБ места.
Среди выполненных задач — автоматизация утренних сводок через Telegram-бота и сортировка библиотеки Steam, насчитывающей более 400 игр. Для работы с библиотекой потребовался API-ключ Steam.
Локальный ИИ также применялся для анализа финансовых документов и создания сравнительных таблиц характеристик ноутбуков. Использование локальных моделей позволило работать с конфиденциальными данными.
В планах автора — автоматизация процесса тестирования ноутбуков и эксперименты с менее требовательными моделями Qwen на устройствах M6 Mac Mini, M5 MacBook Air и Asus TUF Gaming A14.
