Современные поисковые системы в e-commerce отходят от простого сравнения изображений. Традиционный визуальный поиск превращает фото товара в эмбеддинги, но часто ошибается, когда товары визуально похожи, но различаются по характеристикам, материалам или артикулам.
Для решения этой проблемы разработчики внедряют мультимодальные модели, объединяющие визуальные данные с описаниями, атрибутами и поведением пользователей. Проект Fashion IQ стал примером интерактивного поиска, где пользователь может уточнять запрос на естественном языке, а не только через картинки.
Появление моделей FashionBERT и CLIP позволило совместно обучать визуальные и текстовые энкодеры. Оригинальный CLIP обучался на 400 миллионах пар изображение-текст. Однако для ритейла потребовались специализированные решения, такие как e-CLIP, учитывающие специфику каталогов, технические атрибуты и необходимость группировки карточек одного товара от разных продавцов.
Одной из проблем остается обработка нескольких фотографий одного товара. Исследователи предлагают использовать архитектуры на базе мультимодальных больших языковых моделей (MLLM), таких как Qwen2.5-VL, для агрегации данных из разных изображений и текстовых описаний в единое представление продукта.
Новейшие подходы, представленные, например, в работе MOON (принята на WSDM 2026), фокусируются на объединении нескольких модальностей и учете реального пользовательского поведения. Теперь поисковые системы связывают запрос не только с описанием, но и с фактом покупки конкретного товара после поиска.
