Для построения рекомендательной системы использован набор данных Coveo SIGIR eCOM 2021, включающий три CSV-файла с действиями пользователей, поисковыми запросами и признаками товаров. Из-за возможной неполноты логов последовательность событий восстанавливается по идентификаторам сессий и временным меткам.
Итоговая оценка модели проводилась на 60 000 сессий. Метрика Hit@20 рассчитана по 748 сессиям, в которых после поискового запроса зафиксирована покупка; модель показала 441 попадание, что составляет 58,96%. Сессии без записей о покупках сохранены в выборке для корректного формирования статистики.
Целевые товары определяются в 24-часовом окне после запроса. Для обучения ранжировщика использовано 50 000 сессий, из которых 625 содержали зарегистрированную цель. При обучении кандидат с покупкой получает метку 1, остальные — 0. Если в отборе нет целевых товаров, сессия все равно учитывается в знаменателе метрики.
Статистическая значимость результатов не подтверждена из-за недостаточного объема данных для проверки доверительных интервалов. Методика не предполагает оценку прироста продаж, так как A/B-тестирование не проводилось, а совпадение рекомендации с исторической покупкой не является прямым показателем конверсии.
