Автор проанализировал 358 ответов ИИ на 20 вопросов для одного из клиентов, чтобы оценить видимость бренда. Первичный автоматический подсчет показал результат в 15%, так как компания упоминалась в 3 из 20 вопросов. Однако ручная проверка выявила, что эти данные были некорректными из-за простого поиска по ключевым словам.
Один положительный результат был получен, когда GPT-4o предоставил ссылку на статью компании, но приписал методику другому подрядчику. В другом случае Perplexity трижды сослался на страницы компании при ответах о стоимости и отзывах, но не рекомендовал сам бренд. В третьем случае название бренда уже содержалось в запросе пользователя.
Анализ показал, что Claude иногда путал компанию с музыкальным дистрибьютором или сервисом телефонии, а в некоторых ответах вовсе сообщал, что не нашел организацию. Несмотря на это, скрипт засчитал эти ответы как положительные. После уточнения методики и исключения подсказок в запросах видимость бренда снизилась с 15% до 5,3%.
Итоговый результат подтвердил, что Алиса AI трижды включила компанию в список исполнителей и верно описала ее услуги в рамках одного вопроса. Автор подчеркивает, что цитирование материалов и прямая рекомендация бизнеса — это разные результаты, которые должны учитываться в отчетах отдельно.
Для повышения точности предлагается разделять вопросы по задачам пользователя: изучение услуги, оценка бюджета или поиск подрядчика. Также рекомендуется использовать метаданные, такие как prompt_id и brand_in_prompt, чтобы не считать повторные ответы на один вопрос как разные ситуации выбора.