Разработчик проанализировал 30 сайтов с документацией популярных Python- и JS-библиотек, чтобы выяснить причины, по которым ИИ-ассистенты игнорируют некоторые проекты при подборе инструментов. Исследование сфокусировалось на технических факторах, влияющих на индексацию контента ботами.
Результаты показали, что ни один из 30 доменов не блокирует ИИ-ботов через файл robots.txt ни в корне, ни в разделе документации. Файл llms.txt обнаружили у 11 проектов, однако независимые логи подтвердили, что этот файл практически не запрашивается системами.
Проверка на доступность для краулеров выявила лишь один проект с нечитаемыми внутренними страницами, хотя изначально подозрение пало на три ресурса. Автор опубликовал код скрипта, таблицу с данными и методологию для самостоятельной проверки другими разработчиками.
