Сайты часто используют динамический рендеринг для отображения контента ИИ-ботам, которые не исполняют JavaScript. Владельцы ресурсов создают статические копии страниц, однако в них нередко попадают неактуальные данные, например старые цены или даты. Поскольку обычные пользователи видят корректную версию, ошибки в копиях для ботов могут оставаться незамеченными.
Согласно данным Vercel и MERJ за 2024 год, большинство ИИ-краулеров не исполняют JavaScript. Несмотря на то что JS-файлы составляли 11,5% запросов ChatGPT и 23,8% запросов Claude, боты их не обрабатывали. Исключением является Gemini, который использует инфраструктуру Googlebot для рендеринга. Web Almanac 2025 отмечает разницу в медианном числе слов на странице до и после исполнения скриптов в 16–18%.
Тестирование с помощью Python и Playwright показало, что процент схожести контента не гарантирует точность данных. Страница с устаревшей ценой показала 97% сходства с версией для пользователя, хотя критически важная информация различалась. Также в копии для ботов могут попадать вымышленные маркетинговые фразы, которые нейросети способны интерпретировать как независимые оценки сервиса.
Для решения проблемы рекомендуется использовать серверный рендеринг или статическую генерацию страниц. Если создание копий необходимо, следует внедрить автоматическую проверку данных в CI, ограничить срок жизни кэша и идентифицировать ботов по актуальным спискам IP-адресов, а не по User-Agent, так как подстроки в заголовках легко подделываются сторонними скриптами.
