AI crawleri: šta dozvoliti na sajtu

AI crawleri su odluka o pravilima za svaki sajt koji objavljuje na otvorenom webu. GPTBot, ClaudeBot, PerplexityBot, Google-Extended i Googlebot imaju različit posao, a jedna zabrana tretira treniranje, citat i vaš unos u Google pretrazi kao isti događaj.

Izbor stoji u dva pitanja: da li AI crawleri smiju trenirati na stranici, i da li AI crawleri smiju je citirati kad neko postavi srodno pitanje. Treniranje možete odbiti, citat dozvoliti, i javni sajt zadržati u Google pretrazi. Token u robots.txt je uputstvo.

Odluka vrijedi za sajt firme, WordPress magazin, dokumentaciju ili shop. Ovaj tekst je lista dozvola: koje tokene imenovati, koje putanje ostaju zatvorene i kako to provjeriti. Naslovi, linkovi i indeksacija su poseban audit, u našim uslugama tehničkog SEO-a.

Šta AI crawleri zapravo preuzimaju

AI crawleri su obični HTTP klijenti. Traže URL, u zaglavlju User-Agent pošalju objavljeni token i sačuvaju odgovor za proizvod kojem taj token služi.

Pet imena pokriva većinu javnih sajtova. GPTBot skuplja stranice koje mogu trenirati OpenAI-jeve temeljne modele. ClaudeBot skuplja stranice koje mogu trenirati Claude. PerplexityBot je način na koji Perplexity prikazuje i povezuje sajtove u odgovorima, i Perplexity taj token zove pretragom. Google-Extended je kontrola u robots.txt za Gemini. Googlebot puni indeks Google pretrage.

Token je cijela adresa. Pravilo za GPTBot ne govori ništa ClaudeBotu, a pravilo za Google-Extended ne govori ništa Googlebotu. AI crawleri iste kompanije često su namjerno razdvojeni, tako da zabrana treniranja i dozvola citata mogu obje važiti na istom hostu.

Preuzimanje, citat i skup za treniranje tri su ishoda. Treniranje može oblikovati kasniji model koji odgovara bez linka prema vama. Indeks za proizvod koji daje odgovore može citirati stranicu ili staviti link. Svaki ishod ima svoj token.

Kopija za treniranje i citat u odgovoru

AI crawleri se dijele na dva posla, i ime brenda ih ne spaja. Token za treniranje dozvoljava da javne stranice poprave model široke namjene, koji kasnije može pričati o vašoj temi bez posjete. Token za pretragu dozvoljava da proizvod koji odgovara preuzme stranicu i pokaže link ili citat.

OpenAI razdvajanje opisuje u pregledu crawlera. GPTBot je obilazak za treniranje, i Disallow drži sadržaj van treniranja temeljnih modela. OAI-SearchBot je ono čime ChatGPT pretraga izvlači sajtove u odgovore. Grupe su nezavisne: GPTBot možete zabraniti, a OAI-SearchBot dozvoliti. Ponašanje pretrage može pratiti izmjenu fajla tek za otprilike jedan dan. ChatGPT-User dolazi samo kad čovjek nešto zatraži, i robots.txt tada može biti preskočen.

Anthropic ima isti oblik. ClaudeBot skuplja za treniranje, i zabrana drži budući materijal van skupova za treniranje. Claude-SearchBot gradi indeks iza odgovora u Claudeovoj pretrazi. Svaki token traži svoju grupu, i svaki hostname svoj robots.txt, jer pravilo na apexu ne važi za poddomen.

PerplexityBot stoji na strani citata. Perplexity kaže da taj obilazak indeksira stranice za pretragu i da nije namijenjen početnom treniranju temeljnih modela. Disallow zaustavlja cijeli tekst. Perplexity-User preuzima stranicu nakon pitanja, i Perplexity kaže da taj agent uglavnom ne poštuje robots.txt.

Dozvoljen token za pretragu čini citat mogućim. Stranica i dalje mora jasno odgovoriti na pitanje. Disallow za GPTBot ili ClaudeBot tom operatoru govori šta da radi sa budućim obilascima. Kopija koja je već u starijem modelu van je dosega novog fajla.

Obrazac za robots.txt koji možete održavati

robots.txt stoji u korijenu jednog hosta. Javni fajl ne govori ništa o staging.example.com. Kad nema grupe koja odgovara, uobičajeno je da agent smije preuzeti. Fajl je način da imenujete izuzetke.

Neka ostane kratak. Tokene za treniranje zabranite po imenu. Sve ostale agente ostavite na jednoj zajedničkoj grupi, i privatne putanje stavite samo tamo.

GPTBot i ClaudeBot ostaju van cijelog hosta. Google-Extended dobija isti Disallow, kontrolu za Gemini iz sljedećeg odjeljka. Googlebot, PerplexityBot, OAI-SearchBot i Claude-SearchBot nemaju svoju grupu, pa prate zvjezdicu: javni URL-ovi ostaju otvoreni, a /wp-admin/ i /staging/ zatvoreni. WordPressu i dalje treba admin-ajax.php, jer ga javni sajt zove. Google pušta duži Allow da pobijedi Disallow: /wp-admin/.

Imenovana grupa zamjenjuje grupu sa zvjezdicom. Ne nasljeđuje njene Disallow linije. User-agent: Googlebot uz samo Allow: / otvara svaku putanju, uključujući one koje je zvjezdica trebala zatvoriti. Privatne putanje ponovite u svakoj imenovanoj grupi, ili tu grupu nemojte ni dodavati.

Obrišite tri imenovane grupe ako prihvatate i treniranje i citate, i zadržite grupu sa zvjezdicom. Da vas ti servisi ne citiraju, u posebne grupe stavite Disallow za OAI-SearchBot, Claude-SearchBot i PerplexityBot. Googlebot ostavite van tog spiska, osim ako je odluka da izađete iz Google pretrage. AI crawleri koje niste imenovali i dalje prate zvjezdicu.

Na WordPressu provjerite koji je fajl živ. Jezgro i neki SEO plugini šalju virtuelni robots.txt, a pravi fajl u web korijenu ga zamjenjuje. Ako je Cloudflare Bot Preference Sync uključen, servirana kopija može imati i upravljane linije. Javni /robots.txt zatražite nakon svake izmjene.

Googlebot i Google-Extended

Googlebot traži stranice za indeks Google pretrage. Disallow na javnom URL-u može taj URL izbaciti iz pretrage. Na sajtu koji treba da se nađe, Googlebot ostavite dozvoljen.

Google-Extended je token proizvoda u robots.txt. Googleov pregled crawlera kaže da preuzimanje rade postojeći Google user agenti. Token kaže smije li taj sadržaj trenirati buduće Gemini modele, i smije li u trenutku pitanja poslužiti kao izvor odgovora u Gemini Apps i u proizvodu Grounding with Google Search na Vertex AI.

Uključivanje u pretragu i rangiranje ostaju na Googlebotu. Google stavlja Google-Extended van te odluke. Nakon Disallowa log i dalje pokazuje Googlebot. User agent po imenu Google-Extended se ne pojavljuje, jer taj niz postoji samo kao pravilo u fajlu.

Search Console ima zasebnu kontrolu Search generative AI za AI Overviews, AI Mode i generativne funkcije u Discoveru. Google-Extended ostaje prekidač za treniranje. noindex, ili Disallow za Googlebot, izvodi URL iz pretrage u cjelini.

Staging i prijave ostaju zatvoreni

Privatne putanje su pravilo hostinga za svakog agenta. Staging, pregledi nacrta, /wp-admin/ i svaki URL sa podacima o kupcima idu u Disallow na grupi sa zvjezdicom. Tako Googlebot, tokeni za pretragu i AI crawleri padaju pod isto pravilo.

Autentikacija drži prostor privatnim. robots.txt pristojnog klijenta moli da preskoči putanju, a svako ko otvori fajl tu putanju vidi. Koristite staging hostname koji nije u javnom DNS-u, ili HTTP autentikaciju na cijelom hostu, plus noindex ako URL iscuri.

Stranice zahvale, biblioteke za članove i sve što ne biste zalijepili u chat idu pod isto pravilo. URL koji čovjek može otvoriti bez naloga može otvoriti i agent koga je čovjek pokrenuo. ChatGPT-User i Perplexity-User opisani su baš tako.

Kako vidjeti koji AI crawleri preuzimaju sajt

Fajl je pretpostavka dok se log ne složi s njim. Access log na originu pamti svaki User-Agent. Jedan filter pokriva tokene iz ovog teksta:

Googlebot i tokeni za pretragu koje ste dozvolili treba da traže javne URL-ove i dobiju obične statusne kodove. GPTBot i ClaudeBot treba da utihnu. Google-Extended kao user agent nedostaje, i to je očekivano. AI crawleri koji ne poštuju fajl i dalje se pojavljuju ovdje, na putanji koju je fajl zatvorio.

Na sajtovima koje hostujemo Cloudflare stoji ispred origina. AI Crawl Control nabraja koji su AI botovi dolazili, koliko često i da li su prekršili robots.txt. Allow i Block tamo jesu sprovođenje. Čitajte javni robots.txt, jer upravljana Cloudflare kopija može se razlikovati od fajla na disku.

Bot-fight režim ili ranije WAF pravilo može odbiti Googlebot iako ga fajl pušta. Naše usluge hostinga i DNS-a su mjesto gdje se to vidi: proxy, zona i logovi su jedan sistem.

Greške koje koštaju pretragu ili citate

Skupa greška je grupa sa zvjezdicom i Disallow: /. Googlebot, PerplexityBot i tokeni za pretragu tada preskaču host. Sajt istanjuje u Googleu. AI crawleri su odbijeni, a sa njima i svaki drugi agent koji fajl poštuje.

Grupa za Googlebot koja kaže samo Allow: / zamjenjuje zvjezdicu, pa staging ostaje otvoren za Google. Druga strana iste greške je nalijepljen popis na kojem AI crawleri stoje zajedno sa Googlebotom, ili linija Google-Extended prepravljena u Disallow za Googlebot.

Ako zabranite tokene za citiranje, pa čekate citate, fajl radi ono što piše. OAI-SearchBot upravlja odgovorima u ChatGPT pretrazi, PerplexityBot tekstom stranice u Perplexityju, Claude-SearchBot pretragom u Claudeu. Zabrane treniranja su GPTBot, ClaudeBot i Google-Extended.

OpenAI kaže da pretraga može pratiti novi fajl tek za otprilike jedan dan, a već izgrađen indeks ide sporije. Zatražite živi URL na hostu koji posjetioci koriste, pa logove pročitajte nekoliko dana kasnije.

Kada pravila ponovo pregledati

Pregledajte fajl kad se poslovna odluka promijeni i kad se pojavi novi token. Naredba da svi AI crawleri ostanu van postane zastarjela onog mjeseca kad bot za citate dobije vlastiti token, a zvjezdica ga pusti.

Isto važi za novi hostname, jezik na vlastitom hostu ili aplikaciju na poddomenu. robots.txt staje na granici hosta. Nekoliko sedmica kasnije tokeni za treniranje koje ste zabranili treba da budu tihi, Googlebot i dalje treba da preuzima javne URL-ove, a dozvoljeni tokeni za pretragu treba da se tamo pojave.

Kako radimo

1. Upoznavanje. Koji hostovi su javni, koje putanje su privatne, i da li je cilj citat, zabrana treniranja, ili oboje.
2. Popis. Živi robots.txt na svakom hostnameu, kopija iz plugina iza njega, i Cloudflare pravila koja fajl mogu pregaziti.
3. Pravila. Kratak popis tokena koji može odobriti i neko ko nije programer, uz objašnjenje šta se dobija, a šta gubi.
4. Sprovođenje. Fajl u korijenu svakog javnog hosta, privatne putanje u grupi sa zvjezdicom, i AI Crawl Control usklađen sa tim fajlom.
5. Provjera. Logovi i Search Console nakon izmjene. Googlebot i dalje preuzima, tokeni za treniranje utihnu, zatvorene putanje ostanu zatvorene.
6. Revizija. Datum za sljedeći pogled, ili okidač kad se pojavi novi token ili hostname.

Zašto CodeWiz

• Fajl i edge su jedna izmjena. Gradimo na WordPressu, PHP-u i Node.js, sa Cloudflareom ispred origina, pa isti ljudi uređuju robots.txt i pravilo za botove.
• Pretraga ostaje u razgovoru. Pravila treba da ostave Googlebot na stranicama koje želite da se nađu. Šira praksa je na stranici usluga.
• AI rad je već na stolu. Isporučujemo preuzimanje nad sadržajem samog sajta, odvojeno od javnog obilaska za treniranje.
• Fajl prati sajt. Izdavač koji želi citate i firma koja priručnike drži van treniranja odobravaju različite grupe.
• Mali studio. CodeWiz je 2023. osnovao Dragan Plavšić u Banjoj Luci. Radimo lokalno i međunarodno, na daljinu, i izbor objašnjavamo običnim jezikom.

Često postavljana pitanja

Da li AI crawleri treba da budu potpuno blokirani?

Blokirajte tokene za treniranje kad stranice treba da ostanu van budućih skupova za treniranje. Ostavite OAI-SearchBot, Claude-SearchBot, PerplexityBot i Googlebot dozvoljene kad želite da vas nađu i citiraju. AI crawleri su niz odluka.

Da li Disallow za GPTBot izbacuje sajt iz ChatGPT odgovora?

Odgovori u ChatGPT pretrazi prate OAI-SearchBot. GPTBot je obilazak za treniranje, grupe su nezavisne, pa GPTBot možete zabraniti, a OAI-SearchBot dozvoliti. ChatGPT-User i dalje može otvoriti URL koji čovjek imenuje.

Ako blokiramo Google-Extended, izlazimo li iz Google pretrage?

Google pretraga ostaje. Google-Extended upravlja treniranjem Geminija i time da li stranica služi kao izvor u Gemini Apps i Vertex AI. Googlebot upravlja indeksom pretrage. Kontrola za generativni AI u Search Consoleu pokriva AI Overviews i AI Mode.

Da li je robots.txt dovoljan da staging ostane privatan?

Autentikacija, ili host van javnog DNS-a, drži staging privatnim. Disallow moli pristojne agente da preskoče putanju, i tu putanju ispisuje. Liniju ipak ostavite. AI crawleri koji poštuju fajl tada preskaču kratko curenje.

Kako znamo da crawleri prate pravila?

Zatražite živi robots.txt, pa nekoliko dana kasnije pročitajte access log ili Cloudflare AI Crawl Control. Zabranjeni tokeni za treniranje treba da budu tihi, a Googlebot i dalje treba da traži javne URL-ove. Token koji i dalje preuzima zatvorenu putanju traži blokadu na edgeu.

Dogovorite šta AI crawleri smiju

Pošaljite hostove i ishod koji želite: citat u odgovorima, van treniranja, ili oboje, uz zatvoren staging i prijave. Čitamo živi fajl, Cloudflare pravila i isječak loga, i ostavljamo robots.txt koji prati taj izbor. Javite nam se da krenemo.