Компания Cloudflare представила новую настройку Disallow AI Training. Она позволяет администраторам сайтов разрешать индексацию поисковыми системами, одновременно запрещая использование контента для обучения нейросетей. Apple, Google и Microsoft уже подтвердили готовность соблюдать этот запрет.
После активации функции Cloudflare продолжит пропускать гибридные поисковые боты, помеченные как подотчетные. В компании предупреждают, что блокировка других типов сканеров может привести к снижению позиций сайта в поисковой выдаче.
Для большинства клиентов Cloudflare переход на новую систему произойдет автоматически. Это касается пользователей, которые ранее выбирали опции блокировки обучения в настройках Training. Вносить изменения вручную не требуется.
Google планирует в ближайшие недели выпустить инструмент прозрачности Google-Extended на уровне URL. Apple также ведет разработку собственного аналогичного решения, а Microsoft намерена внедрить поддержку запрета обучения через robots.txt к началу 2027 года.
