Разработчик open-source плагина Veynrel для Obsidian провел тестирование влияния Rerank-моделей на качество поиска. В ходе эксперимента использовалось синтетическое хранилище из 64 заметок и 28 поисковых запросов, чтобы оценить целесообразность вторичной сортировки результатов по релевантности.
На 24 запросах, имеющих ответы в базе, Rerank улучшил метрику nDCG@10 в 11 случаях, ухудшил в 2 и оставил без изменений в 11. Обычный семантический поиск ставил релевантную заметку на первое место в 23 из 24 случаев, а Rerank исправил первый результат только один раз.
Автор отметил, что в большинстве случаев прирост метрики был связан с перестановкой вспомогательных материалов, а не с изменением позиций наиболее полезных документов. В итоге для Rerank в плагине была добавлена отдельная кнопка вместо автоматического запуска при каждом поиске.
В рамках тестов сравнивались расходы и задержки. При использовании OpenRouter модель Voyage Rerank 3 Lite оказалась примерно в 392 раза дешевле Cohere при сопоставимой задержке. Также был проведен дополнительный тест на демонстрационном хранилище из 500 заметок.
