Обновленный инструмент llama-runner автоматизирует интеграцию локального llama-server с агентом Claude Code, упрощая настройку переменных окружения, управление логами и запуск процессов.
Компания Conway Research представила Saluki 27B — 2-битную квантованную версию модели Qwen3.8-27B, оптимизированную для вызова инструментов при размере файла менее 8 ГБ.
Издание Phoronix сравнило производительность бэкендов Vulkan и AMD ROCm в локальном ИИ-сервере Lemonade на двух разных аппаратных платформах.
Серия экспериментов на GTX 1080 Ti показала, что 35-миллиардная MoE-модель превосходит более крупные аналоги по скорости и качеству генерации кода.
Разработчик оптимизировал домашний сервер с двумя видеокартами RTX 3060 для работы 27B-модели, увеличив скорость генерации кода в 4 раза при сохранении контекста 128K.
Nous Research внедрила однокликовую настройку локальных моделей в Hermes Desktop, автоматизировав анализ оборудования и конфигурацию среды выполнения.
