Cloudflare представила инструменты, позволяющие владельцам сайтов блокировать ИИ-ботов, обучающих нейросети, сохраняя при этом индексацию страниц поисковиками. Ранее владельцы ресурсов были вынуждены выбирать между запретом на обучение ИИ и присутствием в поисковой выдаче, так как одни и те же боты выполняли обе функции.
Компания ввела статус «Ответственный» (Accountable) для операторов ботов. Для его получения необходимо предоставить владельцам сайтов возможность запрещать обучение ИИ на их материалах, исключать контент из поисковых сводок и обеспечивать прозрачность доступа к конкретным URL для обучения моделей.
Apple, Google и Microsoft согласились соответствовать этим критериям. В настройках Cloudflare появилась опция «Disallow AI Training». При её активации боты со статусом «Ответственный» обязуются использовать контент только для индексации, не применяя его для обучения нейросетей.
Боты теперь классифицируются по типам: поисковые, обучающие ИИ, ИИ-агенты и смешанные. Отдельных ограничений для пользовательских ИИ-агентов пока не предусмотрено из-за отсутствия единых стандартов. Массовое скачивание данных теперь подлежит более строгому контролю со стороны владельцев ресурсов.
По данным Cloudflare, более половины пользователей читают ИИ-сводки в поиске, что на 40% повышает вероятность завершения поиска на этом этапе. При этом конверсия пользователей, перешедших из ИИ-сводок, в 3–5 раз выше, чем у посетителей, пришедших по ссылкам из обычной поисковой выдачи.
