Проведен эксперимент по изучению влияния предыстории диалога на рекомендации CRM-систем в ChatGPT, Perplexity и Алисе AI. Исследование включало 45 диалогов: пять сценариев по три запуска для каждой нейросети. Во всех случаях сессии начинались в новых чатах, а финальный вопрос о выборе CRM для компании в России оставался неизменным.
Автор тестировал разные контексты: отсутствие истории, вводные о небольшой компании, описание длинных сделок и упоминание пользователем конкретных продуктов, таких как BPMSoft. Для оценки сходства подборок CRM использовался коэффициент Жаккара, сравнивающий результаты с контрольными ответами без предыстории.
Результаты показали, что наличие контекста заметно меняет состав предлагаемых CRM. Например, при упоминании BPMSoft пользователем, эта система вошла во все финальные подборки нейросетей, часто смещая позиции других продуктов, таких как Битрикс24. Устойчивость этих различий требует дополнительной проверки на больших выборках.
Исследование подчеркивает, что рекомендации нейросетей чувствительны к ходу беседы. Автор отмечает важность разделения видимости бренда на органические предложения и включение продукта в список после подсказки пользователя, так как смешение этих показателей может завышать оценку частоты упоминания бренда без участия человека.
