Компания Linkup Research представила SPARSEUP — разреженную модель эмбеддингов с 149 миллионами параметров. Модель опубликована на платформе Hugging Face под лицензией Apache 2.0 и совместима с библиотеками Transformers и Sentence Transformers.
В основе архитектуры лежит чекпоинт LateOn-unsupervised с добавлением оригинальной головы MLM от ModernBERT. Обучение проводилось на одном графическом ускорителе H100 с использованием контрастивного обучения, при этом кросс-энкодерная дистилляция не применялась.
На бенчмарке BEIR-13 модель показала результат 56,4 балла. Использование инвертированного индекса Seismic позволяет достичь более 97% полноты при поиске с задержкой около 380 микросекунд на запрос в однопоточном режиме.
В среднем на один запрос приходится 47 ненулевых терминов, а на документ — 190. Разработчики внедрили специальные префиксы для запросов и документов, ограничив длину оценки до 128 и 512 токенов соответственно, сохранив при этом разреженную структуру векторов.
