В Manticore Search появилась функция чанкинга для векторного поиска, позволяющая обрабатывать длинные документы, превышающие лимиты токенов нейросетевых моделей. Ранее модели обрезали текст, что приводило к потере данных за пределами окна контекста.
Новая возможность активируется добавлением параметра chunk_strategy в описание векторного столбца при создании таблицы. Поддерживаются стратегии truncate, mean, fixed, recursive и sentence. Это избавляет от необходимости использовать внешние библиотеки для разбиения текста.
При использовании чанкинга Manticore создает несколько векторов для одного документа, однако в поисковой выдаче документ отображается как единый результат. Параметры max_tokens, overlap_tokens и max_chunks позволяют гибко настраивать процесс фрагментации.
Тестирование на документации объемом 189 страниц и около 298 000 слов показало рост эффективности поиска. Показатель recall@5 увеличился с 55,1% до 83,3%, а метрика MRR выросла с 0,44 до 0,70.
