robots.txt, sitemap.xml, llms.txt: три файла, которые читают машины
У каждого сайта три разговора с машинами, и большинство готовится только к одному. robots.txt говорит, что можно забирать. sitemap.xml — что вообще существует. llms.txt, самый новый и самый переоценённый, говорит, что важно, — в виде, который модель читает без борьбы с вашей навигацией.
Два файла из трёх — устоявшаяся инженерия. Третий — предложение с проблемой в маркетинге: соглашение, которое большинство ИИ‑краулеров ни разу не запрашивало. Разделить их — самый быстрый способ перестать платить за SEO‑театр.
Коротко
- robots.txt теперь настоящий стандарт. RFC 9309, сентябрь 2022 года, и он управляет обходом, но не индексацией.
- Закрытая страница всё равно может попасть в индекс. Google пишет об этом прямо; убирает страницы
noindex, и ему нужна доступная для обхода страница. - sitemap.xml даёт обнаружение, а не позиции. 50 000 URL или 50 МБ без сжатия на файл; больше — индекс карт.
lastmod— обещание. Google планирует обход по нему, только пока дата совпадает с реальностью.- llms.txt — предложение 2024 года, которое почти никто не забирает. Ahrefs: у 97% опубликованных файлов ноль запросов.
- Честная настройка стоит дёшево: короткий robots.txt, карта сайта из сборки с правдивыми датами, вычитанный llms.txt как документация.
robots.txt: стандарт с более узкой задачей, чем принято думать
Двадцать восемь лет robots.txt был джентльменским соглашением между вебмастерами и пауками. В сентябре 2022 года он стал RFC 9309 — документом Standards Track, который написали Мартин Костер и инженеры Google Гэри Иллиес, Хеннер Целлер и Лиззи Сассман. Стандарт фиксирует синтаксис, обработку ошибок и кэширование, а ещё содержит фразу, которую стоит повесить в рамку: эти правила «не являются формой авторизации доступа».
Эта фраза убивает главный миф о robots.txt. Файл управляет обходом. Спецификация Google говорит прямо: содержимое закрытых страниц не индексируется, «но сам URL может попасть в результаты поиска и показываться без сниппета». Если на URL ссылаются извне, он остаётся находимым, что бы ни обещал ваш файл. Убрать страницу можно только директивой noindex, а она работает, лишь когда краулеру разрешено страницу забрать и прочитать: закрыли обход — закрыли и инструкцию. Самая частая рана, которую мы видим в аудитах: сотни страниц «удалены» в robots.txt и через год всё ещё в индексе.
Важны детали:
- Google разбирает ровно четыре поля —
user-agent,allow,disallow,sitemap. Всё остальное, включаяcrawl-delay, игнорируется. - Google соблюдает лимит 500 КиБ, отбрасывает всё после него и кэширует файл до 24 часов, так что ошибка живёт дольше деплоя, который её исправляет.
crawl-delayпонимают Bing и ClaudeBot от Anthropic, а Google — нет: там скорость обхода задаётся в Search Console.
sitemap.xml: слой обнаружения
Протокол sitemaps.org появился в 2005 году, опубликован под лицензией Creative Commons при поддержке Google, Yahoo и Microsoft. Его же главная страница честно расставляет ожидания: протокол «не гарантирует включение страниц в поисковые системы, но даёт поисковым роботам подсказки, чтобы они работали лучше».
Подсказки, а не голоса. Карта помогает краулеру найти то, что он иначе пропустил бы: глубокий архив, страницы с редкими ссылками, свежие URL, на которые ещё никто не сослался. На позиции она не влияла никогда.
Лимиты жёсткие:
- 50 000 URL или 50 МБ (52 428 800 байт) без сжатия на файл. Превысили любой из порогов — файл невалиден.
- Дальше — индекс карт сайта: до 50 000 карт, сам не больше 50 МБ.
lastmod заслуживает отдельного абзаца: это поле чаще всего подделывают, и оно же окупается, когда дата настоящая. В июне 2023 года Google отказался от ping‑эндпоинта и в том же посте объяснил, как использует lastmod: как сигнал для планирования обхода уже известных URL. Условие — честность. «Если страница изменилась семь лет назад, а в lastmod вы пишете, что вчера, рано или поздно мы перестанем вам верить». Там же закрыты два спора: changefreq и priority Google не использует.
Дальше практика: карта генерируется на сборке, в неё попадают только канонические URL с ответом 200, lastmod берётся из реальной даты изменения контента, а не из времени сборки, и поле лучше убрать там, где CMS не может сказать правду. И карту нужно объявить — строкой Sitemap: в robots.txt плюс Search Console.
llms.txt: новый файл и честные ожидания
В сентябре 2024 года Джереми Ховард из Answer.AI предложил файл /llms.txt: markdown‑документ, который даёт модели вычитанную карту сайта со ссылками на страницы, которые стоит прочитать, вместо того чтобы заставлять её разбирать шаблон с навигацией и баннерами. Сейчас предложение живёт на llmstxt.org в переработанной версии v2, обновлённой в августе 2026 года.
Формат намеренно маленький. H1 с названием сайта — единственный обязательный элемент. Цитата‑резюме. Дальше необязательные списки под H2 в виде - [Заголовок страницы](url): одна строка о том, что там, и раздел ## Optional для ссылок, которые агент может пропустить, когда контекста мало. В оригинальном примере, FastHTML, рядом лежит полная текстовая версия — то, что сейчас чаще называют llms-full.txt. Файл можно положить в корень или в любой подпуть: он описывает всё, что ниже.
Чего он не делает: он не стандарт. Ни RFC, ни требования от вендоров, ни обязательного разбора. И данные по внедрению безжалостны. В мае 2026 года Ahrefs разобрал логи примерно 137 000 доменов: 28% публикуют llms.txt, и у 97% этих файлов за месяц ноль запросов. Ноль запросов приходил и на файлы, которых нет, — ИИ‑боты за ними не ходят.
Позиция Google не мягче. Джон Мюллер написал в Bluesky, что «ни одна ИИ‑система сейчас не использует llms.txt». В октябре 2026 года он добавил, что файл не заменяет XML‑карту сайта, что с llms.txt «надежда больше реальности» и что сайту, который хочет быть найденным ИИ‑краулерами, стоит держаться привычного имени sitemap.xml или публиковать RSS‑ленту.
Почему же он постоянно всплывает в техзаданиях? Отчасти из‑за инструментов: llmstxt.org отмечает, что Lighthouse в Chrome проверяет наличие llms.txt в рамках проверок для агентного просмотра, поэтому файл попадает в отчёты независимо от того, читает его кто‑то или нет. Отчасти потому, что его приятно писать: это документ, который вы бы отдали новому коллеге в первое утро.
Что реально помогает ИИ‑краулерам
Не llms.txt. Разрешения и HTML. OpenAI управляет GPTBot (обучение) и OAI‑SearchBot (поиск) через группы в robots.txt; Anthropic пишет, что их боты соблюдают «отраслевые стандартные директивы в robots.txt»; Perplexity документирует то же для PerplexityBot. Нюанс: краулеры, которых запускает человек, — другой вид. В документации OpenAI сказано, что ChatGPT‑User действует по запросу человека, поэтому правила robots.txt к нему «могут не применяться»; Perplexity говорит, что Perplexity‑User их в целом игнорирует.
Как выглядит честная настройка
robots.txt — двадцать строк: явные группы для поисковых роботов и для ИИ‑ботов, по которым вы приняли решение, строка Sitemap:, ничего выше 500 КиБ и ничего, что вы хотите видеть в индексе, за Disallow.
sitemap.xml — из сборки, только канонические URL, lastmod из изменений контента, индекс после 50 000 URL, отправка в Search Console и Bing Webmaster Tools.
llms.txt — вычитанный, а не сгенерированный. Тридцать ссылок с честными однострочными пояснениями лучше четырёх тысяч автоматически выгруженных URL. Опубликуйте и через квартал посмотрите логи: если файл никто не забрал, вы подтвердили отраслевую норму и потеряли час.
Логи — единственное измерение, которое не врёт: кто приходил, что забирал, соблюдал ли robots.txt. Именно так становится понятно, работает ли что‑то из этого.
Итог
Три файла — не три версии одной идеи. robots.txt — стандарт, который нормирует доступ; sitemap.xml — протокол, который перечисляет URL; llms.txt — предложение описать сайт для машин, которые пока почти не слушают. Первые два — обязательный минимум на один вечер. Третий стоит часа и покупает расположение людей, которые его прочитают: не позицию, не цитирование и не обход основ.
Если ваш robots.txt — музей плагинов 2016 года, начните с технического SEO: это слой обхода, рендеринга и разметки под всем остальным. Если хотите, чтобы весь стек проверили и пересобрали, — это наша услуга SEO‑продвижения. А если сомневаетесь, важно ли это вообще, когда ответы заменяют переходы, мы разобрали отдельно: Умерло ли SEO в эру ИИ?. Отдельная тема — как поисковики читают поведение посетителей: об этом наша статья о NavBoost и поведенческих сигналах.
Юрий Осипов
Основатель, SEO и аналитика
Руководит Take the Space. Специализируется на техническом SEO, измеримой аналитике и видимости в ИИ‑поиске.