llms.txt поставили 38 тысяч сайтов - 97% файлов никто не открыл. Что влияет на ответы ИИ на самом деле

Коротко: файл llms.txt не читает ни одна нейросеть. Из 137 тысяч проверенных доменов файл стоит у 38 тысяч, и 97% этих файлов не получили за месяц ни одного запроса - а к сайтам, где файла нет, ИИ-боты за ним не приходили вообще ни разу. Google в своей документации прямо пишет, что игнорирует такие файлы. Работает другое, и это проверяется за пятнадцать минут: у ChatGPT и Claude нет собственного поискового индекса, они берут источники из чужого - Bing и Brave соответственно. Нет вашего сайта в этих индексах - процитировать вас физически нечем.

Летом 2026 в русскоязычных статьях про продвижение в нейросетях сложился обязательный чек-лист: поставить llms.txt, нарезать текст на короткие блоки «под LLM», добавить разметку, закупить упоминания бренда. Пункты повторяются из статьи в статью так уверенно, что выглядят как отраслевой стандарт.

Мы решили проверить каждый пункт по документации самих компаний - Google, OpenAI, Anthropic, Microsoft, Brave - и по замерам на серверных логах. Результат оказался неудобным: половина списка либо не подтверждается ничем, либо прямо опровергнута теми, для кого этот список якобы пишется. Сам вопрос, нужна ли отдельная оптимизация под нейросети, мы разбирали раньше: вот разбор позиции Google целиком.

Откуда цифра про 97%?

Ahrefs в июне 2026 взял 137 210 доменов, у которых был живой трафик в мае 2026, проверил у каждого корень на наличие llms.txt и посмотрел по своей системе аналитики, кто эти файлы запрашивал.

Обращения были примерно у 1 100 доменов. Но и они пришли не оттуда, откуда ждали: 96% запросов сделали боты, и в этих запросах SEO-аудиторы занимают 21,7%, неопознанные боты 14,9%, обычные поисковые краулеры 13,1%, сервисы определения технологий сайта 11,6%. Все ИИ-боты вместе набрали 19,5%, из них поисковые - те самые, что приводят людей, - 1,1%.

Отдельная деталь добивает идею окончательно. Исследователи посмотрели, что происходит на сайтах, где llms.txt нет. Если бы нейросети файл искали, они получали бы 404. Так вот: среди запросов к несуществующим llms.txt доля ИИ-ботов - ноль, 98% таких обращений сделали люди. Нейросети этот файл не ищут.

Сами авторы исследования честно оговариваются дважды: аудитория их аналитики технически подкованнее среднего интернета, поэтому 28% - это верхняя оценка распространения; и «скачал файл» не равно «использовал содержимое», так что все цифры - потолок, а не факт использования.

А что говорят сами поисковики?

Здесь не нужно гадать: заявления публичные и датированные.

Google, документация для вебмастеров (гайд по генеративным функциям поиска): «Вам не нужно создавать новые машиночитаемые файлы, AI-текстовые файлы, разметку или Markdown, чтобы появиться в Google Поиске... Google Поиск их игнорирует».

Джон Мюллер, Google Search Advocate, 17 июня 2025 года: «Насколько мне известно, ни одна ИИ-система сейчас не использует llms.txt». И следом пояснил механику: это видно по серверным логам - чат-боты действительно тянут страницы сайта, но сам файл не запрашивает никто.

OpenAI, Anthropic, Perplexity, Microsoft - за всё время ни одного заявления о поддержке формата. Ни в документации для разработчиков, ни в справке для владельцев сайтов.

Утверждение «llms.txt нужен для GEO» опровергнуто и словами вендора, и данными логов, и молчанием всех остальных. И при этом продолжает продаваться.

Тогда от чего зависит попадание в ответы ИИ?

От того, о чём почти не говорят, потому что это скучно: от присутствия в поисковом индексе, из которого нейросеть берёт источники.

Своего поискового индекса нет ни у OpenAI, ни у Anthropic. Когда ChatGPT или Claude «ищут в интернете», они обращаются к чужой поисковой инфраструктуре, а свою модель используют для отбора и пересказа найденного.

Из этой таблицы следует практический вывод. Прежде чем «оптимизировать контент под нейросети», нужно ответить на вопрос попроще: есть ли сайт в этих четырёх индексах вообще. Если нет - никакая разметка, никакой файл и никакая структура текста не помогут, потому что цитировать нечего. У интернет-магазинов та же логика работает ещё жёстче: видимость товара в обычном поиске почти ничего не говорит о его видимости в ИИ-режиме, мы показывали это на замерах в разборе почему товары не показываются в AI Mode.

Мы проверили себя первыми - и нашли дыру

Метод проверяется на себе, иначе это не метод. Мы прогнали по нему собственный сайт 3 августа 2026 года.

Хорошие новости: ИИ-краулеры (боты, которые обходят сайты и забирают с них содержимое) у нас нигде не заблокированы, страницы отдаются готовым HTML, разметка на статьях полная, скорость ответа сервера полсекунды. То есть всё, что советуют чек-листы, у нас сделано.

Плохая новость: в индексе Brave нашего сайта не было ни одной страницы. Ни по адресу, ни по названию компании. При этом сайты, которые мы делаем клиентам, там были - от двух до двадцати адресов. То есть для Claude нас просто не существовало, и ни разметка, ни llms.txt этого не показывали, потому что они меряют не то.

Мы бы не увидели этого никогда, если бы шли по популярному чек-листу: в нём нет пункта «проверь, есть ли ты в индексе Brave и Bing».

Что ещё реально влияет - по убыванию веса

1. Пропуск краулеров на всех уровнях

У каждой компании свои боты, и они разные по назначению. У OpenAI четыре: OAI-SearchBot отвечает за показ в поисковых ответах ChatGPT, GPTBot собирает данные для обучения, ChatGPT-User ходит по прямому запросу пользователя, OAI-AdsBot проверяет страницы для рекламы. В документации сказано прямо: сайты, закрывшие OAI-SearchBot, в поисковых ответах ChatGPT показаны не будут.

У Anthropic три бота: ClaudeBot (обучение), Claude-User (заход по запросу пользователя), Claude-SearchBot (индексация под поисковые ответы). Закрытие последнего описано как прямая потеря видимости в ответах Claude.

Важная тонкость: закрыть бота можно не только в robots.txt. Если сайт стоит за защитным прокси (Cloudflare и аналоги), там с 1 июля 2026 года действует отдельный переключатель для ИИ-краулеров с тремя категориями - Search, Agent, Training. Сайт бывает открыт в robots.txt и закрыт на сетевом уровне, и владелец об этом не знает, потому что бот молча получает отказ.

2. Сайт, который не открывается без JavaScript

Замеры на июнь 2026 года: ни один крупный ИИ-краулер не выполняет JavaScript. Ни GPTBot, ни OAI-SearchBot, ни ClaudeBot, ни Claude-SearchBot, ни PerplexityBot. Бот делает один запрос, читает пришедший HTML и уходит. GPTBot скачивал JS-файлы примерно в 11,5% запросов и ни разу их не выполнил, ClaudeBot - в 23,8% с тем же результатом.

Исключение одно - Gemini, потому что он работает на инфраструктуре Google, которая умеет рендерить страницу, то есть достраивать её из кода JavaScript в готовый текст, как это делает браузер.

Проверяется одной командой: откройте страницу с отключённым JavaScript или посмотрите исходный код (Ctrl+U). Если текста статьи там нет - для нейросетей страница пустая.

3. Обычное качество и обычное ранжирование

Google формулирует это дословно: «Лучшие практики SEO продолжают быть актуальными, потому что наши генеративные ИИ-функции укоренены в основных системах ранжирования и качества Поиска». Требование к странице ровно одно: быть в индексе и иметь право показываться со сниппетом.

При этом связь с позициями ослабла, но не исчезла. По замерам 2026 года: 92% ответов ИИ цитируют хотя бы один сайт из первой десятки обычной выдачи, но доля совпадения конкретных цитируемых страниц с топ-10 упала с 76% в середине 2025 до 38%. Около трети цитируемых страниц вообще не входят в первую сотню по основному запросу.

Причина - в механике. И AI Overviews, и AI Mode применяют приём, который Google называет query fan-out: разбивают вопрос пользователя на несколько подвопросов и ищут по каждому отдельно. Страница попадает в ответ не за полноту темы, а за лучший ответ на один узкий подвопрос. Мы разбирали эту механику подробно в материале как попасть в AI Overviews Google.

4. Свежесть

Ahrefs на выборке в 17 млн цитат: страницы, которые цитирует ИИ, в среднем на 25,7% свежее, чем органическая выдача по тем же запросам (1 064 дня против 1 432). У ChatGPT 76,4% самых цитируемых страниц обновлялись в последние 30 дней. Примерно половина всех цитируемых страниц публиковалась или обновлялась в предыдущие 13 недель.

Практический вывод, который экономит деньги: обновить старую статью про цены, правила или условия часто выгоднее, чем написать новую. Особенно в темах, где данные устаревают - тарифы, законы, требования площадок.

5. Упоминания бренда за пределами сайта

Здесь начинается зона корреляций, и об этом надо говорить честно. Ahrefs изучил 75 000 брендов и посчитал связь разных факторов с попаданием в AI Overviews:

В продолжении, вышедшем в декабре 2025 года, к этим факторам добавили упоминания на YouTube - у них связь оказалась самой сильной из всех измеренных, 0,737.

Читать это надо аккуратно. Корреляция не равна причинности, и сами авторы пишут, что все связи от умеренных до слабых. Плюс Google отдельно предупреждает: «Погоня за неаутентичными упоминаниями по вебу помогает не так, как кажется». То есть рычаг - не покупка упоминаний, а поводы, из-за которых о вас пишут и говорят: публичные цифры, инструменты, кейсы, выступления, видео.

Что Google прямо называет ненужным

Это самая полезная часть его документации, потому что каждый пункт кому-то продаётся:

1. Специальные файлы и разметка для ИИ

   «Вам не нужно создавать новые машиночитаемые файлы, AI-текстовые файлы, разметку или Markdown... Google Поиск их игнорирует».

2. Нарезка текста на мелкие блоки

   «Нет требования разбивать контент на мелкие кусочки, чтобы ИИ лучше его понимал». Извлечение действительно работает на уровне фрагментов, но из этого следует «пиши разделами, каждый из которых отвечает на один вопрос», а не «купи услугу нарезки».

3. Структурированная разметка как условие

   «Структурированные данные не требуются для генеративного ИИ-поиска, и нет специальной разметки schema.org, которую нужно добавить». Оговорка: для Bing разметка полезна - представитель Microsoft говорил, что schema помогает их языковым моделям понимать контент. А Bing - это индекс, из которого берёт ChatGPT. Поэтому разметку мы держим, но как фактор видимости у Google не считаем.

4. Длинный хвост ключевых слов

   «Вам не нужно переживать, что вы не собрали все длинные хвосты и не покрыли каждый вариант формулировки».

Сколько это вообще приносит?

Разговор о продвижении в нейросетях редко доходит до денег.

Доля переходов из ИИ - около 1% всего веб-трафика на начало 2026 года. При этом канал растёт кратно: суммарно около +340% за год.

Качество этого трафика заметно выше среднего. По замерам Seer Interactive, сессии из ChatGPT конвертировались в 15,9%, из Perplexity в 10,5%, из Claude в 5,0%, из Gemini в 3,0% - против 1,76% у обычной органики Google.

И есть обратная сторона, о которой стоит знать заранее. По данным Cloudflare, ИИ-краулеры обходят сайты несопоставимо интенсивнее, чем присылают людей: у ClaudeBot соотношение доходило до 20 тысяч скачанных страниц на один переход, у GPTBot - около тысячи. Для сравнения, у обычного Googlebot это 5 страниц на переход. Ваш сайт будут читать машины, а не люди, и на трафик это влияет слабо - зато влияет на то, что нейросеть расскажет о вас клиенту.

Как проверить свой сайт за 15 минут

1. Проверьте присутствие в индексах

   Запрос site:вашсайт.kz в Google, Bing, Brave и Яндексе. Bing отвечает за ChatGPT, Brave - за Claude, остальные за себя. Пустой результат хотя бы в одном - первая задача к решению.

2. Проверьте robots.txt

   Откройте вашсайт.kz/robots.txt. Ищите строки с GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, PerplexityBot. Если рядом с ними стоит Disallow - вы закрыты. Часто это ставит плагин или подрядчик «на всякий случай».

3. Проверьте сетевой уровень

   Если сайт за Cloudflare или другим защитным прокси - в панели найдите настройки ИИ-краулеров и убедитесь, что категория Search разрешена. Robots.txt тут не показатель.

4. Проверьте, виден ли текст без JavaScript

   Ctrl+U на странице. Нет текста статьи в исходном коде - для ИИ-ботов страница пустая.

5. Проверьте свежесть

   Посмотрите дату последнего обновления ключевых страниц. Всё, что про цены, условия и правила и старше года, - кандидат на обновление вперёд написания новых текстов.

Ни один из этих шагов не требует подписки на сервис. Все пять закрываются руками за один вечер.

Данные актуальны на 3 августа 2026. Источники: исследование Ahrefs по 137 210 доменам (июнь 2026) и по 75 000 брендов; документация Google Search Central - гайд по генеративным функциям поиска и раздел «AI features and your website»; заявление Джона Мюллера от 17.06.2025; документация OpenAI по ботам и спецификация товарного фида (версия 2026-01-30); справка Anthropic по краулерам и список субпроцессоров; справка Brave Search по краулеру; документация Cloudflare AI Crawl Control; данные Cloudflare Radar по соотношению обходов и переходов; замеры Seer Interactive по конверсии ИИ-трафика; собственная проверка шести сайтов от 03.08.2026.