Jurij Osipov · Osnivač, SEO i analitika

robots.txt, sitemap.xml, llms.txt: tri fajla koja čitaju mašine

Svaki sajt vodi tri razgovora sa mašinama, a većina sajtova se pripremi za samo jedan. robots.txt kaže šta sme da se preuzme. sitemap.xml kaže šta uopšte postoji. llms.txt — najmlađi i najviše precenjen — kaže šta je važno, u obliku koji model čita bez borbe sa vašom navigacijom.

Dva od ta tri fajla su uhodana inženjerija. Treći je predlog sa marketinškim problemom: konvencija koju većina AI crawler‑a nikad nije zatražila. Razdvojiti ih je najbrži način da prestanete da plaćate SEO teatar.

Ukratko

robots.txt: standard sa užim poslom nego što se misli

Za dvadeset osam godina robots.txt je bio džentlmenski sporazum između webmastera i pauka. U septembru 2022. postao je RFC 9309, dokument Standards Track koji su napisali Martijn Koster i Google‑ovi inženjeri Gary Illyes, Henner Zeller i Lizzi Sassman. Standard fiksira sintaksu, obradu grešaka i keširanje — i sadrži rečenicu koju vredi uramiti: ta pravila „nisu oblik autorizacije pristupa“.

Ta rečenica ubija najpoznatiji mit o robots.txt. Fajl upravlja obilaskom. Google‑ova specifikacija kaže otvoreno: sadržaj blokiranih stranica ne može biti indeksiran, „ali URL i dalje može ući u rezultate pretrage i prikazati se bez snippeta“. Ako se na URL linkuje sa bilo kog drugog mesta, ostaje pronalažljiv šta god vaš fajl tvrdio. Stranicu uklanja samo direktiva noindex, a ona radi jedino ako crawler sme da preuzme stranicu i pročita je: blokirate obilazak — blokirali ste i instrukciju. Najčešća rana koju vidimo u revizijama: stotine stranica „obrisanih“ u robots.txt i godinu dana kasnije još u indeksu.

Važni su detalji:

sitemap.xml: sloj otkrivanja

Protokol sitemaps.org datira iz 2005. i objavljen je pod Creative Commons licencom uz podršku Google‑a, Yahoo‑a i Microsoft‑a. Njegova naslovna strana pošteno postavlja očekivanja: protokol „ne garantuje da će stranice biti uključene u pretraživače, ali daje crawler‑ima nagoveštaje da rade bolje“.

Nagoveštaji, ne glasovi. Sitemap pomaže crawler‑u da nađe stranice koje bi inače propustio: duboku arhivu, slabo linkovane stranice, sveže URL‑ove na koje još niko nije stavio link. Na pozicije nikad nije uticao.

Ograničenja su tvrda:

lastmod zaslužuje svoj pasus: to je polje koje se najčešće lažira i koje se isplati kad je datum stvaran. U junu 2023. Google je ukinuo ping endpoint i u istom tekstu objasnio kako koristi lastmod: kao signal za planiranje obilaska već poznatih URL‑ova. Uslov je iskrenost. „Ako se stranica promenila pre sedam godina, a u lastmod pišete da se promenila juče, pre ili kasnije ćemo prestati da vam verujemo.“ Isti tekst zatvara dve rasprave: changefreq i priority Google ne koristi.

Zato: sitemap se generiše u build‑u, u njega ulaze samo kanonski URL‑ovi koji vraćaju 200, lastmod dolazi iz stvarnog datuma izmene sadržaja, a ne iz vremena build‑a, i bolje ga je izostaviti tamo gde CMS ne može da kaže istinu. I sitemap treba objaviti — linijom Sitemap: u robots.txt i kroz Search Console.

llms.txt: novi fajl i poštena očekivanja

U septembru 2024. Jeremy Howard iz Answer.AI predložio je fajl /llms.txt: markdown dokument koji modelu daje pročišćenu mapu sajta sa linkovima na stranice koje vredi čitati, umesto da ga tera da raščlanjuje šablon pun navigacije i banera. Predlog danas živi na llmstxt.org u prerađenoj verziji v2, ažuriranoj u avgustu 2026.

Format je namerno mali. H1 sa imenom sajta — jedini obavezan element. Citat‑rezime. Zatim opcione liste pod H2 u obliku - [Naslov stranice](url): jedna linija o tome šta je tamo, i sekcija ## Optional za linkove koje agent može da preskoči kad je konteksta malo. U originalnom primeru, FastHTML‑u, pored stoji i puna tekstualna verzija — ono što se danas češće zove llms-full.txt. Fajl može stajati u korenu ili na bilo kojoj podputanji: pokriva sve ispod sebe.

Šta on nije: standard. Ni RFC, ni zahtev vendora, ni obavezno parsiranje. A podaci o prihvatanju su nemilosrdni. U maju 2026. Ahrefs je analizirao logove oko 137.000 domena: 28% objavljuje llms.txt, a 97% tih fajlova imalo je nula zahteva za mesec dana. Nula zahteva stizala je i za fajlove kojih nema — AI botovi ih ne traže.

Google‑ov stav nije mekši. John Mueller napisao je na Bluesky‑ju da „nijedan AI sistem trenutno ne koristi llms.txt“. U oktobru 2026. dodao je da fajl ne može da zameni XML sitemap, da je sa llms.txt‑om „nada veća od realnosti“ i da sajt koji želi da ga AI crawler‑i nađu treba da ostane pri uobičajenom imenu sitemap.xml ili da objavi RSS feed.

Zašto se onda stalno pojavljuje u brifovima? Delom zbog alata: llmstxt.org navodi da Lighthouse u Chrome‑u proverava postojanje llms.txt u sklopu agentic browsing provera, pa fajl ulazi u izveštaje bez obzira na to da li ga iko čita. Delom zato što ga je prijatno pisati: to je dokument koji biste dali novom kolegi prvog jutra.

Šta vas zaista čini vidljivim AI crawler‑ima

Ne llms.txt. Dozvole i HTML. OpenAI upravlja GPTBot‑om (obuka) i OAI‑SearchBot‑om (pretraga) kroz grupe u robots.txt; Anthropic navodi da njihovi botovi poštuju „industrijske standardne direktive u robots.txt“; Perplexity isto dokumentuje za PerplexityBot. Nijansa: crawler‑i koje pokreće čovek su druga vrsta. OpenAI navodi da ChatGPT‑User radi po zahtevu osobe, pa se pravila robots.txt na njega „možda ne primenjuju“; Perplexity kaže da ih Perplexity‑User uglavnom ignoriše.

Kako izgleda poštena postavka

robots.txt — dvadeset linija: jasne grupe za pretraživačke botove i za AI botove o kojima ste odlučili, linija Sitemap:, ništa iznad 500 KiB i ništa što želite u indeksu iza Disallow.

sitemap.xml — iz build‑a, samo kanonski URL‑ovi, lastmod iz izmena sadržaja, indeks posle 50.000 URL‑ova, prijava u Search Console i Bing Webmaster Tools.

llms.txt — pročitan, ne generisan. Trideset linkova sa poštenim jednolinijskim beleškama bolje je od četiri hiljade automatski izbačenih URL‑ova. Objavite ga i posle kvartala pogledajte logove: ako ga niko nije preuzeo, potvrdili ste industrijsku normu i izgubili sat vremena.

Logovi — jedino merenje koje ne laže: koji botovi su dolazili, šta su uzimali, da li su poštovali robots.txt. Tako se saznaje da li bilo šta od ovoga radi.

Zaključak

Tri fajla nisu tri verzije jedne ideje. robots.txt je standard koji normira pristup; sitemap.xml je protokol koji nabraja URL‑ove; llms.txt je predlog da se sajt opiše mašinama koje za sada uglavnom ne slušaju. Prva dva su obavezan minimum za jedno popodne. Treći košta sat vremena i kupuje naklonost ljudi koji ga pročitaju: ne poziciju, ne citat i ne prečicu mimo osnova.

Ako je vaš robots.txt muzej dodataka iz 2016, počnite od tehničkog SEO‑a: to je sloj obilaska, renderovanja i označavanja ispod svega ostalog. Ako želite da ceo stack bude pregledan i ponovo sastavljen, to je naša usluga SEO optimizacije. A ako se pitate da li to uopšte važi kad odgovori zamene klikove, to smo obradili odvojeno: Da li je SEO mrtav u eri AI?. A kako pretraživači ocenjuju ponašanje posetilaca, pišemo u tekstu o NavBoost‑u i signalima ponašanja.

Jurij Osipov

Jurij Osipov

Osnivač, SEO i analitika

Vodi Take the Space. Specijalizovan za tehnički SEO, merljivu analitiku i vidljivost u AI pretraživanju.

Svi članci autora →
Ako blokiram stranicu u robots.txt, da li će nestati iz Google‑a?
Ne. robots.txt upravlja obilaskom, ne indeksiranjem. Google‑ova dokumentacija kaže da sadržaj blokirane stranice ne može biti indeksiran, ali URL i dalje može ući u rezultate i prikazati se bez snippeta. Da stranica zaista nestane potrebna je direktiva noindex — a ona radi samo ako crawler sme da preuzme stranicu i pročita je.
Koja su ograničenja veličine za robots.txt i sitemap.xml?
Google poštuje ograničenje od 500 KiB za robots.txt i tiho ignoriše sve posle njega. Sitemap fajl može imati najviše 50.000 URL‑ova i najviše 50 MB (52.428.800 bajtova) nekompresovano. Preko toga se sajt deli na više sitemap‑ova koji se navode u indeksu sitemap‑a, a i on je ograničen na 50.000 sitemap‑ova.
Treba li objaviti llms.txt?
Da, ako ga tretirate kao dokumentaciju, a ne kao polugu za rast. Košta sat vremena i pomaže ljudima i agentima koji na njega zaista naiđu. Ali nemojte ga prodavati kao trik za vidljivost u AI pretrazi: Ahrefs je u maju 2026. izmerio 97% fajlova sa nula zahteva, a Google kaže da fajl uopšte ne koristi.
Da li direktiva crawl‑delay radi?
Na Google‑u ne. Njegov parser čita samo user‑agent, allow, disallow i sitemap, pa se crawl‑delay ignoriše — brzina obilaska se tamo podešava u Search Console. Bing podržava crawl‑delay, a botovi Anthropic‑a takođe, pa direktiva nije beskorisna, samo nije univerzalna.
Da li AI crawler‑i čitaju robots.txt?
Automatizovani čitaju: OpenAI‑jev GPTBot i OAI‑SearchBot, Anthropic‑ov ClaudeBot i PerplexityBot upravljaju se kroz grupe u robots.txt. Izuzetak su crawler‑i koje pokreće čovek — ChatGPT‑User i Perplexity‑User preuzimaju stranicu zato što je osoba to tražila, pa se pravila robots.txt na njih uglavnom ne primenjuju.

Želite sajt koji pravi razliku?

Hajde da razgovaramo o vašem projektu.