Anthropic использует трех разных ботов для Claude: для обучения моделей, индексации страниц и чтения контента по запросу пользователя. Многие владельцы сайтов блокируют всех ботов разом, чтобы запретить обучение ИИ, однако это действие лишает сайт возможности попадать в поисковую выдачу Claude и быть прочитанным по ссылке.
По данным на октябрь 2026 года, Claude-SearchBot был заблокирован на 63 из 569 проанализированных сайтов. Исследования показывают, что Claude использует поиск в 36,6% ответов. Существует высокая корреляция между выдачей Brave Search и источниками Claude: 87,8% страниц, которые цитирует нейросеть, входят в топ-10 результатов поиска Brave.
Для корректной работы необходимо настроить robots.txt, разрешив Claude-SearchBot и Claude-User, и блокировать только ClaudeBot, если цель — запретить обучение на данных сайта. Настройки WAF или CDN могут блокировать ботов независимо от правил в robots.txt, поэтому администраторам рекомендуется проверять логи доступа и исключать ботов Anthropic из правил фильтрации.
Claude реже ChatGPT использует форумы и чаще ссылается на подборки сервисов. Оптимизация под Claude не требует специфических действий, кроме обеспечения индексации страниц в поисковике, который использует модель, и предоставления доступа ботам. Наличие сайта в источниках ChatGPT не гарантирует его присутствие в ответах Claude, так как пересечение доменов составляет в среднем лишь 8%.
