Исследователи МФТИ представили алгоритм HARP, который повышает качество сильно сжатых языковых моделей и снижает ошибки при квантовании на 12–15%.
Компания Underdog AI выпустила модель Saluki 27B — 2-битную квантованную версию Qwen3.8-27B, оптимизированную для работы с интеллектуальными агентами.
Компания Conway Research представила Saluki 27B — 2-битную квантованную версию модели Qwen3.8-27B, оптимизированную для вызова инструментов при размере файла менее 8 ГБ.
Проект ExVRAM Lab добился скорости 30 токенов в секунду для модели с 27 миллиардами параметров, полностью разместив её на потребительской видеокарте с 8 ГБ памяти.
Технический обзор форматов моделей LLM и методов квантования, включая GGUF, GPTQ, AWQ и серию EXL, с описанием их происхождения, технических характеристик и совместимости.
Квантование нейросетей и обучение со смешанной точностью позволяют оптимизировать использование памяти, а аппаратное обеспечение адаптируется под новые форматы данных.
