Компания Cloudflare представила новую функцию Disallow AI Training, позволяющую владельцам сайтов запрещать использование своего контента для обучения нейросетей. Инструмент решает проблему универсальных поисковых роботов, которые одновременно индексируют страницы и собирают данные для ИИ.
Теперь владельцы ресурсов могут блокировать сбор данных для обучения, сохраняя при этом доступ для поисковых систем. Apple, Google и Microsoft уже подтвердили соответствие новым критериям или обязались внедрить их, что позволит избежать потери позиций в поисковой выдаче.
Ряд других компаний используют раздельные алгоритмы для поиска и обучения, что дает Cloudflare возможность блокировать только обучающие модули. Директор по продукту Cloudflare Брайан Беккер сообщил, что переговоры с операторами поисковых роботов по этому вопросу велись с июля.
Нововведение направлено на усиление контроля над активностью ботов. Согласно отчету PYMNTS Intelligence, почти 90% организаций сталкиваются с трудностями при управлении ботами, что создает риски для безопасности и корректной работы цифровых платформ.
