Robots.txt: что это, как настроить и проверить, чтобы не закрыть сайт от поиска

Robots.txt это текстовый файл в корне сайта, в котором вы говорите поисковым роботам, какие разделы им не нужно обходить. Он снижает нагрузку на сервер и уводит робота от корзины, внутреннего поиска и служебных страниц, но не убирает страницу из выдачи: закрытый адрес может остаться в поиске без описания. Чтобы спрятать страницу, нужен тег noindex (команда в коде страницы «не показывай меня в поиске»), а файл robots.txt для неё как раз оставляют открытым.

Ниже разберём, как устроен файл, что в нём писать для обычного сайта и интернет-магазина, какие директивы давно не работают, как файл действует на нейросетевых роботов и как проверить, что вы случайно не закрыли сайт целиком. Правила взяты из справок Google и Яндекса на октябрь 2026 года, примеры из наших собственных проверок.

Что такое robots.txt простыми словами?

Robots.txt это обычный текстовый файл, который лежит по адресу ваш-сайт.com/robots.txt. Его читает робот: программа поисковика, которая ходит по сайтам и скачивает страницы. Перед тем как обойти сайт, робот открывает этот файл и смотрит, куда ему нельзя.

Важно различать два процесса. Сканирование это когда робот скачивает страницу. Индексация это когда поисковик решает добавить страницу в свою базу и показывать её в выдаче. Robots.txt управляет только первым. Google пишет об этом прямо: файл не предназначен для того, чтобы запрещать показ страниц в поиске.

Внутри файл состоит из групп. Каждая группа начинается со строки User-agent, где указано, к какому роботу она относится, а дальше идут директивы, то есть команды: Disallow (не ходи сюда) и Allow (сюда можно).

User-agent: *
Disallow: /cart/
Disallow: /search/

Sitemap: https://example.com/sitemap.xml

Звёздочка после User-agent значит «для всех роботов». Строка Sitemap подсказывает, где лежит карта сайта.

Нужен ли robots.txt вашему сайту?

Нужен почти всем, но не потому, что без него сайт не попадёт в поиск. Если файла нет и сервер отвечает ошибкой 404 («страница не найдена»), Google считает, что ограничений нет, и обходит всё. Яндекс поступает так же: файл, который не отвечает требованиям, означает для него открытый для индексирования сайт.

Файл стоит завести, когда на сайте есть то, что роботу обходить бесполезно:

• корзина, оформление заказа, личный кабинет;
• страницы внутреннего поиска по сайту;
• фильтры и сортировки каталога, которые плодят тысячи похожих адресов;
• служебные разделы: админка, вход, технические скрипты.

Для сайта-визитки на десять страниц хватит трёх строк с адресом карты сайта. Для интернет-магазина файл работает как фильтр: без него робот тратит время на миллион комбинаций фильтров вместо новых товаров. Про то, как робот вообще узнаёт о страницах, мы подробно писали в разборе карты сайта.

Как выглядит правильный robots.txt?

Вот рабочий пример для небольшого интернет-магазина. Его можно взять за основу и поменять пути на свои.

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /search/
Disallow: /*?sort=
Allow: /

User-agent: Yandex
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /search/
Clean-param: utm_source&utm_medium&utm_campaign&sort /

Sitemap: https://example.com/sitemap.xml

Зачем отдельная группа для Яндекса: если в файле есть строка User-agent: Yandex, его роботы перестают читать группу со звёздочкой. Поэтому все запреты в яндексовской группе приходится повторять. А Clean-param это директива только Яндекса: она просит не учитывать параметры в адресе. Параметр это хвост после знака вопроса, например UTM-метка, которой размечают ссылки из рекламы (подробнее в разборе UTM-меток). Google такую строку просто пропускает.

Какие директивы понимает каждый поисковик:

Источники: справка Google «Как Google интерпретирует спецификацию robots.txt» (обновлена 11.09.2026) и справка Яндекс Вебмастера по robots.txt, октябрь 2026.

Два правила синтаксиса, на которых спотыкаются чаще всего. Первое: пути чувствительны к регистру, /Catalog/ и /catalog/ для робота разные адреса. Второе: если правила спорят, побеждает более длинное, то есть более конкретное. При равной длине у Google и Яндекса выигрывает Allow. Порядок строк в файле на результат не влияет.

Почему robots.txt не убирает страницу из поиска?

Потому что запрет обхода не равен запрету показа. Робот не заходит на закрытую страницу, но если на неё ведут ссылки с других сайтов, поисковик всё равно узнаёт адрес и может показать его в выдаче. Google описывает это так: такая страница может показываться в результатах, но без описания. У Яндекса формулировка похожая: ограниченные в robots.txt страницы могут участвовать в поиске.

Отсюда одна из самых неприятных ошибок. Владелец хочет убрать из поиска старую акцию, ставит на странице тег noindex (команду «не показывай меня в поиске», подробнее о ней в разборе метатегов) и для верности закрывает её же в robots.txt. Робот больше не заходит на страницу, тег не видит, и адрес висит в выдаче месяцами. Яндекс в справке прямо просит: страницы, которые удаляете через noindex, в robots.txt не закрывайте.

Какие директивы в robots.txt давно не работают?

Три строки до сих пор кочуют из шаблона в шаблон, хотя поисковики их не читают.

Host. Когда-то этой строкой Яндексу сообщали главное зеркало, то есть основной адрес сайта из нескольких вариантов (с www и без, http и https). В актуальном списке поддерживаемых директив справки Яндекса её нет. Главное зеркало сейчас задают 301-редиректом, постоянной переадресацией со всех вариантов на один, и инструментом «Переезд сайта» в Вебмастере.

Crawl-delay. Строка просила робота делать паузу между запросами. Яндекс перестал её учитывать с 22 февраля 2018 года и предлагает настраивать скорость обхода в Вебмастере. Google её никогда не поддерживал.

Noindex внутри robots.txt. Такой директивы нет ни у Google, ни у Яндекса. Убирать из поиска нужно тегом на самой странице.

15 октября 2026 года мы проверили файлы robots.txt пяти работающих сайтов, которые ведём сами. На трёх из пяти до сих пор стоит строка Host, в том числе на этом сайте: её подставляет шаблон, на котором работает сайт. Вреда от неё нет, робот просто пропускает строку.

Как robots.txt работает с нейросетями?

У каждой крупной компании с нейросетью сейчас несколько роботов с разными задачами, и закрывать их одной строкой опасно. Одни собирают тексты для обучения моделей, другие ищут страницы, чтобы показать их в ответе пользователю. Закроете второго, и сайт может пропасть из ответов.

Источники: страницы о роботах OpenAI и Anthropic, справка Google об общих роботах (обновлена 14.07.2026). Про Google-Extended компания пишет прямо: метка не влияет ни на попадание сайта в поиск Google, ни на ранжирование.

Если вы хотите, чтобы нейросети вас находили и цитировали, поисковых роботов не закрывайте. Решение про обучение отдельное, его можно принять по каждому роботу. Учтите, что роботов может закрывать не только ваш robots.txt: с 15 сентября 2026 года Cloudflare по умолчанию блокирует обучающих и агентских ИИ-роботов на страницах с рекламой у доменов, подключённых после этой даты, подробности в разборе блокировки ИИ-роботов на Cloudflare.

И ещё одно: robots.txt работает как просьба. Добросовестный робот её выполняет, остальным она не мешает. В сентябре 2026 года мы разбирали логи этого сайта за неделю: под подписью робота Perplexity пришло 716 визитов с адресов облака Google Cloud, а с официальных адресов Perplexity не пришло ни одного. Подпись робота подделать легко, и такие гости файл не читают. Как отличить настоящего робота от подделки, мы показали в разборе проверки ИИ-ботов по логам.

Что закрывать в robots.txt, а что нельзя?

Закрывать:

• корзину, оформление заказа, личный кабинет, страницы «спасибо за заявку»;
• внутренний поиск по сайту;
• служебные разделы: админку, вход, API (адреса, через которые программы обмениваются данными);
• сортировки и фильтры, которые не дают новой страницы. Для Яндекса адреса с параметрами лучше склеивать через Clean-param: его справка предупреждает, что при Disallow поисковик может не понять, что это копия основной страницы.

Не закрывать:

• файлы стилей и скриптов (CSS и JavaScript): Google просит их не блокировать, если без них нельзя правильно понять страницу;
• картинки, если хотите трафик из поиска по картинкам;
• страницы, которые убираете из поиска тегом noindex;
• всё, что указано в карте сайта: закрытый адрес в карте это противоречие, которое поисковик покажет как ошибку.

Живой пример из нашей практики. В сентябре 2026 года мы обнаружили, что на одном из наших сервисов Яндекс обходит личный кабинет и одноразовую ссылку входа пользователя. Адреса он узнал не из ссылок, а через счётчик Метрики, который отправлял адрес страницы вместе с параметрами. Починка заняла два шага: счётчик перестал отправлять такие адреса, а в robots.txt появились запреты на кабинет и Clean-param на служебные параметры. Один robots.txt проблему бы не решил, но без него робот продолжал бы ходить по адресам, которые ему видеть не нужно.

Как проверить robots.txt?

Проверяйте файл после каждого переезда, смены движка или правки.

1. Откройте файл в браузере

   Наберите ваш-сайт.com/robots.txt. Файл должен открыться как текст. Если видите страницу ошибки или главную сайта, файла нет или сервер отдаёт его неправильно.

2. Проверьте ответ сервера

   Код ответа должен быть 200. В Яндекс Вебмастере для этого есть инструмент «Проверка ответа сервера». Ошибка 404 означает «файла нет, ограничений нет», ошибка 5xx опаснее, о ней ниже.

3. Прогоните файл через анализатор Яндекса

   В Яндекс Вебмастере откройте «Анализ robots.txt»: инструмент покажет ошибки синтаксиса и даст проверить, разрешён ли конкретный адрес.

4. Посмотрите отчёт в Search Console

   В Google Search Console, бесплатном кабинете Google для владельцев сайтов, в настройках есть отчёт о файлах robots.txt: какой файл Google видел, когда скачал его последний раз и были ли ошибки.

5. Проверьте важные страницы

   Возьмите главную, пару категорий и пару товаров или услуг и проверьте каждую в анализаторе. Все они должны быть разрешены.

Подробно про оба кабинета мы писали в разборах Яндекс Вебмастера и Google Search Console.

Отдельно про ошибки сервера, потому что последствия у них неочевидные. Google так описывает поведение при ответах 5xx (сервер упал или перегружен):

Источник: справка Google о спецификации robots.txt, обновлена 11.09.2026. Вывод практический: если ваш хостинг отдаёт ошибку именно на robots.txt, Google на полдня перестаёт обходить весь сайт. Обычно файл Google хранит в кэше не дольше суток, так что исправления подхватываются быстро.

Какие ошибки в robots.txt встречаются чаще всего?

Ошибки, которые встречаются чаще других, укладываются в короткий список:

1. Disallow: /, оставшийся после разработки. Сайт закрыт целиком.
2. Закрыта страница с noindex. Тег не работает, адрес висит в поиске.
3. Закрыты папки со стилями и скриптами. Робот видит страницу сломанной.
4. Кириллица в адресах. Яндекс требует кодировать путь и домен (для домена это Punycode, способ записать кириллический домен латиницей вида xn--...), иначе строка не сработает.
5. Пустая строка внутри группы. Яндекс прямо пишет, что пустые переводы строки между User-agent, Disallow и Allow недопустимы.
6. Отдельная группа для Яндекса без повторения общих запретов. Его роботы читают только свою группу.
7. Один файл на поддомены. Правила действуют только для того адреса, где лежит файл. У shop.example.com должен быть свой robots.txt.
8. Устаревшие Host и Crawl-delay. Вреда нет, поисковики их просто пропускают.

Если хочется проверить сайт целиком, а не один файл, загляните в разбор аудита сайта: robots.txt там первый пункт из многих.

Если после проверки файла сайт всё равно плохо индексируется, разберём причины вместе на консультации.