Anthropic использует два разных инструмента: приложение Claude и агента Claude Code. Исследование Profound, основанное на 24 135 ответах на 1 724 запроса в период с 13 по 23 июля 2026 года, выявило существенные различия в их работе. Claude использует веб-поиск более чем в 93% ответов, тогда как Claude Code задействует его лишь в 13% случаев.
Claude Code чаще обращается к документации, в то время как Claude посещает robots.txt, карты сайтов и главные страницы. Claude Code применяет инструмент WebFetch, который обычно передает основной модели уже переработанный вспомогательной моделью текст. Этот процесс намеренно приводит к потере деталей, за исключением списка примерно из 80 сайтов с технической документацией.
Anthropic задействует трех краулеров: ClaudeBot для обучения, Claude-User для запросов пользователей и Claude-SearchBot для индексации поиска. Все они соблюдают robots.txt. Блокировка ClaudeBot исключает сайт из обучающих выборок, а ограничение Claude-User или Claude-SearchBot снижает видимость ресурса в ответах ИИ и точность цитирования.
Файл llms.txt, предназначенный для машиночитаемого описания сайтов, боты Anthropic запрашивают редко. По данным Ahrefs за май 2026 года, из 38 000 доменов с валидным llms.txt 97% не получили ни одного обращения к файлу за месяц. На долю ClaudeBot пришлось 0,8% запросов к таким файлам, на долю Claude-User — 2,5%.
Для отслеживания активности ботов владельцам сайтов рекомендуется анализировать access-логи серверов по строкам user-agent. Хотя Anthropic публикует список IP-адресов в bots.json, идентификация ботов через заголовки в логах считается более надежным методом. Официальная подпись инструмента WebFetch для Claude Code компанией не раскрывается.
