Компания Cloudflare ввела блокировку ИИ-агентов и ботов для обучения нейросетей на страницах, содержащих рекламу. По мнению разработчиков, наличие рекламы подтверждает, что контент предназначен для людей, тогда как ИИ-агенты при сборе данных о ценах и отзывах игнорируют рекламные блоки.
Новые настройки разделяют ботов на три категории: поисковые краулеры, инструменты для обучения ИИ и пользовательские агенты. Поисковые боты по-прежнему получают доступ к сайтам, однако обучение ИИ и шопинг-агенты теперь блокируются по умолчанию. Изменения затрагивают новые домены и аккаунты бесплатного тарифа.
Согласно отчету Cloudflare, доля трафика для обучения ИИ достигла 52% от общего числа запросов краулеров в июне, тогда как весной 2025 года показатель составлял 22%. Сейчас 17% владельцев сайтов ограничивают обучение ИИ, а менее 1% блокируют поисковые системы. Компания планирует свести смешанный трафик ботов к нулю в течение года.
По данным PYMNTS, 132 миллиона взрослых жителей США совершали покупки с помощью ИИ, однако лишь 23% ритейлеров способны отследить ИИ-трафик и связанные с ним продажи. На фоне этого Amazon подала иск против стартапа Perplexity, обвинив его в скрытой работе ИИ-агентов, в то время как другие компании ищут способы интеграции с ИИ-платформами.
