Автор исследовательского проекта PCST провел серию экспериментов по сжатию весов LLaMA-7B с 13 ГБ до 1 ГБ без использования дообучения, дистилляции или прунинга. В процессе работы над проектом было проверено более 60 методов сжатия и протестировано сотни конфигураций с помощью математических операций над готовыми весами и калибровки по небольшой выборке текстов.
Текущий результат проекта — артефакт размером 2,05 ГиБ, который уступает обычной квантизации Q3_K_M по качеству и скорости работы. В ходе экспериментов автор обнаружил, что улучшение восстановления отдельных весов может одновременно привести к снисжению общего интеллекта модели.