Исследователи МФТИ представили алгоритм HARP, предназначенный для повышения точности сильно сжатых больших языковых моделей. Метод использует структурированные ортогональные повороты для оптимизации весов перед квантованием, что позволяет минимизировать потерю данных при агрессивном сжатии.

Алгоритм работает поверх существующих методов квантования. В ходе экспериментов с моделями Llama 2-70B и Qwen3-8B при 2-битном сжатии ошибка снизилась на 12–15%. Метод показал свою универсальность, продемонстрировав эффективность при работе с бэкендом QTIP.

Сжатые с помощью HARP модели работают в 2,1 раза быстрее полных версий, сохраняя при этом 90% скорости стандартного сжатия. Процесс требует дополнительной калибровки для каждого слоя, однако не требует повторного обучения всей нейросети.

Разработка доступна для использования: исходный код опубликован на GitHub, а готовые сжатые модели размещены на платформе Hugging Face. В дальнейшем ученые планируют адаптировать алгоритм для других компонентов инференса.