15 сентября Cloudflare обновил правила управления доступом ИИ-ботов к сайтам. Теперь весь ИИ-трафик разделен на три категории: Search, Agent и Training. Для каждой из них пользователи могут настраивать индивидуальные политики блокировки, включая новый режим Disallow AI Training.
Для новых доменов Cloudflare предлагает готовые настройки по умолчанию: доступ для поисковых ботов разрешен, обучение моделей ограничено, а боты-агенты блокируются на страницах с рекламой. Настройки существующих сайтов были автоматически перенесены в новую систему категорий.
Исследование Seensure показало, что после обновления частота блокировок обучающих ботов выросла, тогда как поисковые и агентские боты стали сталкиваться с ограничениями реже. Данные основаны на имитации запросов с подставными именами, поэтому не отражают поведение реальных краулеров.
Разработчики рекомендуют настраивать политики доступа вручную в разделе Security Settings. Блокировка категории Search может привести к потере видимости сайта в ИИ-поисковиках. По данным Cloudflare, такую блокировку используют менее 1% сайтов.
Для корректной проверки доступа эксперты советуют анализировать логи сервера и раздел AI Crawl Control в панели управления. Использование только файла robots.txt или фильтрация по User-Agent не гарантируют защиту, так как некоторые боты игнорируют подобные инструкции.
