ИИ-краулер

ИИ-краулер — это программа, которая обходит сайты и забирает их содержимое для нейросетей: чтобы обучить модель, чтобы найти ответ на вопрос человека прямо сейчас или чтобы подготовить источники для ИИ-поиска. Под одним названием прячутся роботы с разными целями, и пускать их или нет, решают по каждой цели отдельно.

Как это работает

Cloudflare, сервис защиты и ускорения сайтов, с 2026 года делит таких роботов на три категории по поведению.

Search. Собирает страницы, чтобы потом ставить на них ссылки в ответах. По смыслу это близко к обычной поисковой индексации.

Agent. Приходит в момент, когда конкретный человек спросил что-то у нейросети, и забирает страницу под его вопрос.

Training. Берёт текст для обучения модели. Посетителей такой визит не приводит никогда.

Сложность в том, что один робот может выполнять несколько задач. Googlebot, Applebot и BingBot частично попадают и в категорию Training, а Cloudflare применяет самое строгое правило. Закрыв обучающих роботов без разбора, можно задеть и обычный поисковый обход.

Пример

Допустим, в журнале сервера (логе, где записан каждый визит) вы видите тысячи заходов бота с именем известной нейросети. Прежде чем делать выводы, сверьте IP-адреса этих визитов с официальным списком компании. Имя в журнале гость пишет о себе сам, и представиться чужим ботом может кто угодно, включая тех, кто ищет на сайте уязвимости.

Частые ошибки

• Судить о пользе краулера по числу визитов. Важно другое: пришёл ли по его ссылкам хоть один живой человек.
• Блокировать категорию целиком, не проверив, не входит ли туда ваш главный поисковый робот.
• Верить имени бота без проверки IP-адреса.

Как за полчаса отличить настоящего ИИ-краулера от подделки по своим логам, описано в материале ИИ-боты на вашем сайте. Что изменилось в блокировке по умолчанию у Cloudflare, разобрано в статье Cloudflare блокирует ИИ-краулеров. К чему ошибочно привязывают общий рост автоматического трафика, читайте в материале боты дают больше половины запросов. Закрыт ли ваш сайт в robots.txt (файле с правилами для роботов) для GPTBot, ClaudeBot, PerplexityBot и других ИИ-краулеров, показывает бесплатная диагностика сайта.