Как запретить обучение ИИ на сайте и не выпасть из ответов нейросетей: новый сигнал в robots.txt

Запрет обучения ИИ скоро можно будет поставить одной записью в robots.txt: 30 октября 2026 года это объявили Google, Microsoft и OpenAI. Но запись работает по-разному. В Bing обучение и ответы нейросети разделены, а Google планирует читать её как запрет Google-Extended, а тот, судя по справке Google, закрывает и обучение, и ответы в приложениях Gemini. Бизнесу, которому нужны заявки, сейчас менять ничего не надо.

Актуально на 31 октября 2026 года.

Новости про этот сигнал звучат как простая инструкция: две строки в robots.txt, и тексты защищены от обучения, а сайт остаётся в ответах нейросетей. Для Microsoft так и есть. Для Google формулировка другая, и разница прячется в одной скобке поста Google. Разберём, что объявлено, когда заработает и где компании разошлись.

Что объявили Google, Microsoft и OpenAI 30 октября?

Три компании в один день сообщили, что будут понимать общую запись в robots.txt. Это текстовый файл в корне сайта с правилами для поисковых и прочих роботов. Запись выглядит так:

User-Agent: __usage_ai-training
Disallow: /

__usage_ai-training называется токеном: это метка цели использования, а не имя робота. Раньше владелец перечислял роботов каждой компании, теперь смысл такой: «все участники, не обучайте модели на этих страницах». Строкой Disallow: /example-path/ можно закрыть только один раздел.

Статус у записи пока скромный. Текст лежит на сайте IETF, организации, которая выпускает стандарты интернета, как личный черновик. На его странице прямо сказано, что IETF его не одобрял, а срок действия заканчивается 3 мая 2027 года. Автор работает в Anthropic. Участник рабочей группы Нейт Хейк в сообщениях, которые привёл Search Engine Roundtable, пишет, что часть спорных вопросов не решена. Запись могут поправить до стандарта, поэтому смотрите на дату проверки этого текста.

С какой даты новый сигнал начнёт работать?

Сегодня он не работает ни у кого: Microsoft в своём FAQ прямо называет 30 октября объявлением, а не изменением. В таблице упомянуты NoArchive и NoCache: это старые мета-теги «не храни копию страницы», о них ниже. Реальные сроки у всех разные, и только у Microsoft они записаны днём.

Про Anthropic оговоримся отдельно. Search Engine Roundtable пишет, что она тоже участвует, и автор черновика её сотрудник. Но на 31 октября в разделе новостей Anthropic мы заявления не нашли, а её справка о роботах про новый сигнал молчит.

Поэтому, если решение принято сегодня, ставьте его прежним способом: отдельным правилом для каждого робота. Таблицу, какой робот чей и что будет, если его закрыть, мы собрали в разборе robots.txt. Общие старые настройки продолжат работать: об этом пишут и Google, и OpenAI в объявлении на своём сайте от 30 октября.

Чем обучение отличается от ответа нейросети?

Обучение меняет саму модель: ваш текст становится частью материала, на котором она настраивается. В ответе ссылки на вас нет, отказ от него влияет только на будущие версии. Grounding, или заземление ответа, работает иначе: модель в момент вопроса берёт свежую страницу из индекса, опирается на неё и часто показывает ссылку. Именно здесь живёт GEO, то есть работа над тем, чтобы нейросеть цитировала ваш сайт.

Для бизнеса это две разные сделки. Для бизнеса с услугами запрет обучения обычно почти ничего не стоит: заявки приходят из поиска и цитирования, обучение их не даёт. Запрет grounding стоит видимости. Microsoft в блоге Bing предупреждает: при таком выборе видимость бренда в ИИ-ответах снизится, а в другом месте того же текста пишет «значительно». Гарантии обратного тоже нет: разрешение не обещает ни попадания в ответ, ни трафика, ни денег.

Почему одна и та же запись значит разное у Bing и у Google?

Здесь и спрятана разница. У Microsoft запись про обучение ничего не меняет в grounding: настройки независимы, можно запретить первое и оставить второе. Для Bing обещание из новостей верно дословно.

У Google запись переводится в старый механизм. Цитата из поста Джона Мюллера: если сайт запретил обучение этой записью и Google-Extended отдельно не указан, Google «plans to interpret that as if the publisher had disallowed Google-Extended», то есть планирует считать, что сайт запретил Google-Extended. А Google-Extended по справке управляет сразу двумя вещами: обучением моделей Gemini и grounding в приложениях Gemini и Vertex AI, облачной платформе Google для разработчиков. Тот же пост добавляет, что появляться в ответах через grounding в приложениях Gemini могут сайты, которые прямо разрешают Google-Extended.

Складываем два абзаца документации и получаем вывод, которого в анонсах нет: запрет обучения общей записью у Google, судя по его текстам, закроет сайту и ответы приложений Gemini. Это наше чтение документов на 31 октября, поддержки ещё нет, и Google может уточнить поведение к запуску.

Разделить две кнопки внутри Google пока нельзя. Google применяет свой перевод, только если Google-Extended не указан. Значит, из формулировки поста следует: добавьте явное разрешение Google-Extended, и общий запрет на Google действовать перестанет, а обучение тоже останется разрешённым:

User-Agent: __usage_ai-training
Disallow: /

User-agent: Google-Extended
Allow: /

Такой файл читается так: всем участникам обучать нельзя, Google можно всё, что покрывает Google-Extended. Такой файл подходит тем, кому важнее попасть в ответы Gemini, чем уберечь тексты от обучения. Обычный поиск Google обе записи не затрагивают: Google-Extended не влияет ни на попадание в выдачу, ни на ранжирование. Для генеративных функций самого поиска, таких как блоки с ответом ИИ, у Google есть отдельное отключение в Search Console, о нём пишет Search Engine Roundtable.

Что важно знать о записи перед тем, как её ставить?

Есть три технические детали, на которых легко ошибиться. Все они из самого черновика и документов Microsoft.

1. Звёздочка её не заменяет. Группа User-Agent: * по тексту черновика не считается выражением этого предпочтения. Если у вас стоит общий запрет для всех роботов, про обучение он ничего не сообщает.
2. Запись не закрывает обход. Черновик говорит прямо: это не команда для робота. Страницы могут скачиваться и дальше, сигнал касается только того, как их использовать. Чтобы снизить нагрузку на сервер, нужны правила для конкретных роботов.
3. Настройка начинает работать после обхода. Microsoft узнаёт о ней, только когда заново зайдёт на страницу. IndexNow, сервис оповещения поисковиков, дату повторного обхода не гарантирует.

И общее ограничение. Robots.txt остаётся просьбой: добросовестный робот её выполнит, остальным она не мешает. Хейк отдельно недоволен, что черновик выводит из-под действия всё, что делает сам пользователь. Имени робота в логах тоже верить нельзя: в разборе логов часть гостей представлялась чужими роботами. Обещания вернуть уже собранное сигнал тоже не даёт, у Microsoft он относится к будущим обучению и grounding.

Кого касается дедлайн 1 марта 2027 года?

Срок касается только сайтов с директивами NoArchive или NoCache. Это старые мета-теги, которыми сайт просил поисковик не хранить копию страницы. С 2023 года Microsoft читал их и как запрет обучения и grounding. С 1 марта 2027 года читать перестанет.

Тут вторая ловушка: если ничего не сделать, страницы таких сайтов откроются для grounding: без настройки действует разрешение. Если новую настройку на страницы поставить, а временную в Bing Webmaster Tools не записать, страница будет открыта до следующего обхода. Календарь Microsoft для них выглядит так:

1. 15 декабря 2026

   В Bing Webmaster Tools, бесплатном кабинете вебмастера Bing, открываются временные настройки grounding. Они доступны только сайтам, у которых NoArchive или NoCache стоят на эту дату.

2. 1 февраля 2027

   Новые настройки начинают действовать по мере обхода страниц.

3. 1 марта 2027

   Крайний срок. Нужно поставить новую настройку на страницы и записать временную в Bing Webmaster Tools. Запрет обучения в этот же срок ставится в robots.txt или на странице.

4. 30 сентября 2027

   Временная настройка истекает, если обход не заменил её раньше.

Новая настройка для страницы ставится мета-тегом или HTTP-заголовком. Grounding через robots.txt запретить нельзя, общего переключателя на весь сайт нет:

Мета-тег: name="Bingbot", content="ai-grounding:disallow"
X-Robots-Tag: Bingbot: ai-grounding:disallowextended

Вариант disallowextended оставляет страницу в продуктах самой Microsoft, таких как Copilot, и убирает её из grounding, который Microsoft предоставляет сторонним сервисам. Это мягкий запрет для тех, кто не хочет кормить чужие приложения.

Что делать владельцу сайта прямо сейчас?

Начните с проверки, которая занимает пять минут. Откройте ваш-сайт/robots.txt, затем исходный код главной и пары важных страниц (Ctrl+U) и поищите слова noarchive и nocache. Заодно посмотрите настройки SEO-плагина и CDN, сети, которая раздаёт сайт посетителям, потому что запрет мог включить не вы: с сентября, например, Cloudflare по умолчанию закрывает часть ИИ-роботов для новых доменов на страницах с рекламой.

Дальше решение зависит от того, на чём вы зарабатываете.

31 октября мы проверили свой сайт так же: в robots.txt lab-leaders.com запретов для ИИ нет, NoArchive и NoCache на главной нет, значит, разрешено и обучение, и grounding, и менять мы ничего не будем. Нам важно, чтобы нейросети нас цитировали, и обучение на открытых статьях эту цель не задевает. Если у вас такая же задача, смотрите сначала на то, что влияет на цитирование: об этом разбор про GEO-оптимизацию.