Компании OpenAI, Google, Microsoft и Anthropic объявили о переходе на единый стандарт управления доступом к контенту для обучения нейросетей. Теперь издатели смогут централизованно запрещать сбор данных со своих сайтов для ИИ-моделей.
Новый механизм, предложенный техническим руководителем Anthropic Кевином Келли в рамках IETF, интегрируется в файл robots.txt. Это избавляет владельцев ресурсов от необходимости настраивать параметры доступа отдельно для каждого разработчика ИИ.
Участники инициативы обязались блокировать своих поисковых роботов на сайтах, где установлен соответствующий токен. Microsoft дополнительно предложит инструменты для раздельного управления доступом к данным для обучения моделей и для их использования в качестве источников информации.
В Microsoft подчеркнули, что настройки доступа к обучению не повлияют на индексацию сайтов в поисковике Bing. Anthropic уже внедрила поддержку стандарта, OpenAI планирует сделать это в ближайшие месяцы, а Google и Microsoft намерены реализовать поддержку в следующем году.
