Юрий Осипов · Основатель, SEO и аналитика

robots.txt, sitemap.xml, llms.txt: три файла, которые читают машины

У каждого сайта три разговора с машинами, и большинство готовится только к одному. robots.txt говорит, что можно забирать. sitemap.xml — что вообще существует. llms.txt, самый новый и самый переоценённый, говорит, что важно, — в виде, который модель читает без борьбы с вашей навигацией.

Два файла из трёх — устоявшаяся инженерия. Третий — предложение с проблемой в маркетинге: соглашение, которое большинство ИИ‑краулеров ни разу не запрашивало. Разделить их — самый быстрый способ перестать платить за SEO‑театр.

Коротко

robots.txt: стандарт с более узкой задачей, чем принято думать

Двадцать восемь лет robots.txt был джентльменским соглашением между вебмастерами и пауками. В сентябре 2022 года он стал RFC 9309 — документом Standards Track, который написали Мартин Костер и инженеры Google Гэри Иллиес, Хеннер Целлер и Лиззи Сассман. Стандарт фиксирует синтаксис, обработку ошибок и кэширование, а ещё содержит фразу, которую стоит повесить в рамку: эти правила «не являются формой авторизации доступа».

Эта фраза убивает главный миф о robots.txt. Файл управляет обходом. Спецификация Google говорит прямо: содержимое закрытых страниц не индексируется, «но сам URL может попасть в результаты поиска и показываться без сниппета». Если на URL ссылаются извне, он остаётся находимым, что бы ни обещал ваш файл. Убрать страницу можно только директивой noindex, а она работает, лишь когда краулеру разрешено страницу забрать и прочитать: закрыли обход — закрыли и инструкцию. Самая частая рана, которую мы видим в аудитах: сотни страниц «удалены» в robots.txt и через год всё ещё в индексе.

Важны детали:

sitemap.xml: слой обнаружения

Протокол sitemaps.org появился в 2005 году, опубликован под лицензией Creative Commons при поддержке Google, Yahoo и Microsoft. Его же главная страница честно расставляет ожидания: протокол «не гарантирует включение страниц в поисковые системы, но даёт поисковым роботам подсказки, чтобы они работали лучше».

Подсказки, а не голоса. Карта помогает краулеру найти то, что он иначе пропустил бы: глубокий архив, страницы с редкими ссылками, свежие URL, на которые ещё никто не сослался. На позиции она не влияла никогда.

Лимиты жёсткие:

lastmod заслуживает отдельного абзаца: это поле чаще всего подделывают, и оно же окупается, когда дата настоящая. В июне 2023 года Google отказался от ping‑эндпоинта и в том же посте объяснил, как использует lastmod: как сигнал для планирования обхода уже известных URL. Условие — честность. «Если страница изменилась семь лет назад, а в lastmod вы пишете, что вчера, рано или поздно мы перестанем вам верить». Там же закрыты два спора: changefreq и priority Google не использует.

Дальше практика: карта генерируется на сборке, в неё попадают только канонические URL с ответом 200, lastmod берётся из реальной даты изменения контента, а не из времени сборки, и поле лучше убрать там, где CMS не может сказать правду. И карту нужно объявить — строкой Sitemap: в robots.txt плюс Search Console.

llms.txt: новый файл и честные ожидания

В сентябре 2024 года Джереми Ховард из Answer.AI предложил файл /llms.txt: markdown‑документ, который даёт модели вычитанную карту сайта со ссылками на страницы, которые стоит прочитать, вместо того чтобы заставлять её разбирать шаблон с навигацией и баннерами. Сейчас предложение живёт на llmstxt.org в переработанной версии v2, обновлённой в августе 2026 года.

Формат намеренно маленький. H1 с названием сайта — единственный обязательный элемент. Цитата‑резюме. Дальше необязательные списки под H2 в виде - [Заголовок страницы](url): одна строка о том, что там, и раздел ## Optional для ссылок, которые агент может пропустить, когда контекста мало. В оригинальном примере, FastHTML, рядом лежит полная текстовая версия — то, что сейчас чаще называют llms-full.txt. Файл можно положить в корень или в любой подпуть: он описывает всё, что ниже.

Чего он не делает: он не стандарт. Ни RFC, ни требования от вендоров, ни обязательного разбора. И данные по внедрению безжалостны. В мае 2026 года Ahrefs разобрал логи примерно 137 000 доменов: 28% публикуют llms.txt, и у 97% этих файлов за месяц ноль запросов. Ноль запросов приходил и на файлы, которых нет, — ИИ‑боты за ними не ходят.

Позиция Google не мягче. Джон Мюллер написал в Bluesky, что «ни одна ИИ‑система сейчас не использует llms.txt». В октябре 2026 года он добавил, что файл не заменяет XML‑карту сайта, что с llms.txt «надежда больше реальности» и что сайту, который хочет быть найденным ИИ‑краулерами, стоит держаться привычного имени sitemap.xml или публиковать RSS‑ленту.

Почему же он постоянно всплывает в техзаданиях? Отчасти из‑за инструментов: llmstxt.org отмечает, что Lighthouse в Chrome проверяет наличие llms.txt в рамках проверок для агентного просмотра, поэтому файл попадает в отчёты независимо от того, читает его кто‑то или нет. Отчасти потому, что его приятно писать: это документ, который вы бы отдали новому коллеге в первое утро.

Что реально помогает ИИ‑краулерам

Не llms.txt. Разрешения и HTML. OpenAI управляет GPTBot (обучение) и OAI‑SearchBot (поиск) через группы в robots.txt; Anthropic пишет, что их боты соблюдают «отраслевые стандартные директивы в robots.txt»; Perplexity документирует то же для PerplexityBot. Нюанс: краулеры, которых запускает человек, — другой вид. В документации OpenAI сказано, что ChatGPT‑User действует по запросу человека, поэтому правила robots.txt к нему «могут не применяться»; Perplexity говорит, что Perplexity‑User их в целом игнорирует.

Как выглядит честная настройка

robots.txt — двадцать строк: явные группы для поисковых роботов и для ИИ‑ботов, по которым вы приняли решение, строка Sitemap:, ничего выше 500 КиБ и ничего, что вы хотите видеть в индексе, за Disallow.

sitemap.xml — из сборки, только канонические URL, lastmod из изменений контента, индекс после 50 000 URL, отправка в Search Console и Bing Webmaster Tools.

llms.txt — вычитанный, а не сгенерированный. Тридцать ссылок с честными однострочными пояснениями лучше четырёх тысяч автоматически выгруженных URL. Опубликуйте и через квартал посмотрите логи: если файл никто не забрал, вы подтвердили отраслевую норму и потеряли час.

Логи — единственное измерение, которое не врёт: кто приходил, что забирал, соблюдал ли robots.txt. Именно так становится понятно, работает ли что‑то из этого.

Итог

Три файла — не три версии одной идеи. robots.txt — стандарт, который нормирует доступ; sitemap.xml — протокол, который перечисляет URL; llms.txt — предложение описать сайт для машин, которые пока почти не слушают. Первые два — обязательный минимум на один вечер. Третий стоит часа и покупает расположение людей, которые его прочитают: не позицию, не цитирование и не обход основ.

Если ваш robots.txt — музей плагинов 2016 года, начните с технического SEO: это слой обхода, рендеринга и разметки под всем остальным. Если хотите, чтобы весь стек проверили и пересобрали, — это наша услуга SEO‑продвижения. А если сомневаетесь, важно ли это вообще, когда ответы заменяют переходы, мы разобрали отдельно: Умерло ли SEO в эру ИИ?. Отдельная тема — как поисковики читают поведение посетителей: об этом наша статья о NavBoost и поведенческих сигналах.

Юрий Осипов

Юрий Осипов

Основатель, SEO и аналитика

Руководит Take the Space. Специализируется на техническом SEO, измеримой аналитике и видимости в ИИ‑поиске.

Все статьи автора →
Если закрыть страницу в robots.txt, она исчезнет из Google?
Нет. robots.txt управляет обходом, а не индексацией. В документации Google сказано, что содержимое закрытой страницы не индексируется, но сам URL может попасть в выдачу и показываться без сниппета. Чтобы страница действительно ушла, нужна директива noindex — и она сработает, только если краулеру разрешено страницу забрать и прочитать.
Какие ограничения по размеру у robots.txt и sitemap.xml?
Google соблюдает лимит 500 КиБ для robots.txt и молча игнорирует всё после него. В файле карты сайта может быть не больше 50 000 URL и не больше 50 МБ (52 428 800 байт) без сжатия. Дальше сайт разбивают на несколько карт и перечисляют их в индексе карт — он тоже ограничен 50 000 карт.
Стоит ли публиковать llms.txt?
Да, если относиться к нему как к документации, а не как к рычагу роста. Это час работы, и он помогает людям и агентам, которые действительно на файл попадут. Но продавать его как приём для видимости в ИИ не надо: Ahrefs зафиксировал 97% файлов с нулём запросов в мае 2026, а Google говорит, что файл вообще не использует.
Работает ли директива crawl‑delay?
В Google — нет. Его парсер читает только user‑agent, allow, disallow и sitemap, поэтому crawl‑delay игнорируется, а скорость обхода задаётся в Search Console. Bing директиву поддерживает, боты Anthropic — тоже, так что она не бесполезна, просто не универсальна.
Читают ли ИИ‑краулеры robots.txt?
Автоматические — да: GPTBot и OAI‑SearchBot от OpenAI, ClaudeBot от Anthropic и PerplexityBot управляются через группы в robots.txt. Исключение — краулеры, которых запускает человек: ChatGPT‑User и Perplexity‑User забирают страницу по запросу пользователя, поэтому правила robots.txt к ним, как правило, не применяются.

Нужен высокопроизводительный сайт?

Давайте обсудим, как мы можем помочь вашему бизнесу расти.