С 15 сентября 2026 года Cloudflare (сервис, через который проходит трафик значительной части сайтов в мире, включая защиту от атак и ускорение загрузки) меняет настройки по умолчанию для доменов, которые подключаются к нему после этой даты: ИИ-краулеров делят на три категории, и две из них на страницах с рекламой блокируются автоматически. Владелец сайта может включить их обратно за несколько кликов. Вопрос не в том, блокировать или нет, а в том, какую из трёх категорий вы выключаете вместе с блокировкой.
Данные актуальны на 16 августа 2026 года.
Краулер, если коротко, это программа, которая обходит сайты и забирает их содержимое: так работают и обычные поисковики, и боты нейросетей. До сих пор большинство владельцев сайтов относились к ИИ-краулерам одинаково, как к одному явлению. Cloudflare первой из крупных инфраструктурных компаний официально развела их по цели визита, и с 15 сентября это разделение становится настройкой по умолчанию, а не советом из блога.
Что именно меняется 15 сентября
Всё, что ниже, взято из объявления Cloudflare в её официальном блоге от 1 июля 2026 года. Компания вводит три поведенческие категории ботов и назначает каждой свою логику блокировки.
Для доменов, которые подключаются к Cloudflare после 15 сентября, на страницах, где показывается реклама, категории Training и Agent по умолчанию блокируются, категория Search остаётся разрешённой. Формулировка Cloudflare дословная: «For all new domains onboarding to Cloudflare, the categories of Training and Agent will be blocked by default on the pages that display ads, while Search will remain allowed by default». Уже подключённые домены сохраняют текущие настройки, а новое умолчание в любой момент переопределяется вручную в разделе безопасности домена.
Один и тот же краулер иногда решает несколько задач сразу. Googlebot, Applebot и BingBot формально ведут себя и как поисковые индексаторы, и частично попадают под категорию Training. Cloudflare прямо пишет, что правила применяются по самому жёсткому совпадению: «defaults will be enforced by the most restrictive applicable rules». Значит, владелец сайта, который решил закрыть только Training, рискует заблокировать заодно и обычный поисковый обход Google или Bing на этих же страницах. Это главная ловушка изменения: щёлкнули один переключатель, а задели индексацию, то есть занесение ваших страниц в базу поисковика, из которой он их потом показывает людям.
Три категории ботов: что каждая на самом деле делает
Определения в таблице ниже взяты из блога Cloudflare дословно.
| Категория | Что делает бот | Что вы теряете при блокировке | Что вы выигрываете при блокировке |
|---|---|---|---|
| Search | Собирает и индексирует контент, чтобы позже отвечать на вопросы о нём | Обычный поисковый трафик; но эта категория по умолчанию открыта | Ничего, кроме потери посетителей из поиска |
| Agent | Действует в реальном времени от имени конкретного человека, чтобы прямо сейчас что-то сделать | Живого посетителя, который прямо сейчас спросил чат-бота и получил ссылку на вас | Меньше нагрузки от автоматических запросов, которые не читатель, а программа |
| Training | Забирает контент, чтобы обучить или дообучить модель; данные остаются у модели навсегда | Ничего похожего на трафик, это разовая передача текста в чужую базу | Контроль над тем, что ваш текст не уходит в обучающую выборку бесплатно |
В разговорах про «блокировку ИИ» Agent и Training обычно валят в одну кучу, хотя это разные вещи. Agent — это не робот, который тренирует модель где-то на сервере, а запрос, прилетающий на сайт в тот момент, когда живой человек спросил что-то у чат-бота и получил ссылку на вашу страницу. Заблокировать Agent значит закрыть этот переход, то есть отказаться от людей, которые уже шли к вам с конкретным вопросом.
Почему блокировка Training не так однозначно выгодна, как кажется
Логика «закрыть Training, значит перестать бесплатно кормить чужую модель» выглядит разумно на первый взгляд. Проблема в том, что Cloudflare сама предупреждает: многоцелевые краулеры оценивают по самому строгому совпадению. Если поисковый бот заодно помечен и как участник обучения моделей, блокировка Training у части ботов автоматически прихватывает и поисковую индексацию.
Практический вывод простой: прежде чем закрывать Training, стоит открыть список ботов в панели Cloudflare и посмотреть, какие из них у вас числятся многоцелевыми. Если среди них есть основной поисковый краулер, от которого вы получаете обычный трафик, блокировка Training требует ручной проверки, а не одного клика по умолчанию.
Вопрос, нужна ли сайту отдельная работа под видимость в ответах нейросетей вообще, мы разбирали отдельно: нужна ли отдельная GEO-оптимизация. Если такая видимость вам нужна, блокировка Agent прямо против этой цели: она отрезает именно тот трафик, ради которого GEO-работа и делается.
Что уже известно про поведение ИИ-ботов в реальности
Прежде чем что-то блокировать, стоит посмотреть на замеры.
TollBit — компания, которая зарабатывает на лицензировании доступа контента ИИ-моделям, то есть у неё прямой коммерческий интерес в том, чтобы владельцы сайтов воспринимали ИИ-трафик как ресурс для продажи. С этой оговоркой её данные всё равно остаются замером, а не рекламным обещанием. По её отчёту «State of the Bots» за первую половину 2026 года, на европейских сайтах около 15% идентифицированных ИИ-краулеров, которые ходят по страницам от лица пользователя, всё же доходили до адресов, явно закрытых в robots.txt (текстовый файл в корне сайта, где владелец перечисляет, куда ботам заходить нельзя). Считали здесь именно посещения запрещённых страниц; сколько ботов игнорируют правила целиком, замер не показывает.
Отдельная цифра того же материала — доля сайтов, которые сами внесли конкретного бота Anthropic (Claude-User) в список запрещённых в robots.txt: 9% в Европе против 26% в Северной Америке. Это не доля нарушений, а доля владельцев сайтов, которые заранее решили его не пускать. За пределами Европы такое решение принимают почти втрое чаще; причину разрыва первоисточник не объясняет.
Позиции двух компаний здесь прямо расходятся. Anthropic заявляет, что все три её бота соблюдают robots.txt. OpenAI официально указывает, что ChatGPT-User заходит на страницу по прямому запросу конкретного человека в чате, и раз действие запускает человек, правила robots.txt на такой визит могут не распространяться. Эту формулировку компания оставила в документации после того, как в декабре 2025 года убрала оттуда более общее обещание соблюдать файл. На практике это значит: правило в robots.txt не гарантирует одинаковое поведение всех ботов, у каждой компании свой договор с ним.
Про то, как проверить, кто на самом деле заходит на ваш сайт под видом ИИ-бота, у нас есть отдельный разбор логов: ИИ-боты на сайте: проверка по логам. Он показывает практический способ отличить настоящего бота от подделки по IP-адресу, прежде чем вообще решать, кого блокировать.
Как за 20 минут проверить свои настройки в Cloudflare
Зайдите в раздел безопасности домена
В панели Cloudflare откройте домен, затем раздел Security (или AI Crawl Control, если он уже подключён как отдельный продукт). Там показан список известных ИИ-краулеров с их текущим статусом: разрешён или заблокирован.
Проверьте, когда домен подключён к Cloudflare
Новое умолчание касается доменов, которые подключаются после 15 сентября. Если сайт заведён в Cloudflare раньше, текущие настройки сохранятся, но проверить их всё равно стоит: они могли отличаться от умолчаний и до объявления, а переносы сайта между аккаунтами иногда заводят домен заново.
Найдите многоцелевых ботов
Отметьте в списке краулеров, которые помечены сразу несколькими категориями: часто это как раз основной поисковый бот. По ним решение о блокировке Training принимайте поштучно.
Решите по каждой категории отдельно, а не одним рубильником
Search почти всегда стоит оставить открытым: это ваш обычный поисковый трафик. Agent стоит взвесить против цели присутствия в ответах чат-ботов — если вы хотите, чтобы люди из ChatGPT или Claude доходили до сайта, эту категорию не закрывайте. Training можно закрыть осознанно, если вы понимаете, что вместе с ней не блокируете нужный вам поисковый обход.
Сохраните настройку и отметьте дату проверки
Новое умолчание достаётся доменам, заведённым после 15 сентября, поэтому для уже работающего сайта решение остаётся за вами и никто его за вас не примет. Выставьте статус каждой категории явно и запишите дату проверки: через полгода вы будете знать, что у вас открыто и почему, а не гадать по логам.
Что делать владельцу сайта прямо сейчас
Слепое «заблокировать всех ИИ-ботов» и слепое «оставить всё как есть» одинаково не работают, потому что за общим словом «ИИ-краулер» скрываются три разных визита с разными последствиями. Наши разборы рекламы в ChatGPT и попадания в AI Overviews Google показывают, что присутствие в ответах нейросетей само по себе уже становится каналом привлечения, а не только вопросом защиты контента. Закрывать Agent ради того, чтобы не отдавать текст на обучение моделей, значит отрезать переходы живых людей ради задачи, к которой эти переходы отношения не имеют.
Практический ориентир простой: если вы не знаете, зачем блокируете конкретную категорию, не блокируйте её. Осознанное решение занимает 20 минут в панели Cloudflare, а на новых доменах умолчание с 15 сентября сработает само, и часть владельцев узнает о нём постфактум, по упавшему трафику из поиска или из чат-ботов.
Проверить, как ваш сайт видят ИИ-краулеры и поисковики
Пройти диагностику