OpenAI i Google 30. listopada 2026. najavili su da će podržati zajedničku oznaku u datoteci robots.txt kojom vlasnici web-stranica mogu izraziti žele li dopustiti korištenje svojeg sadržaja za treniranje generativnih AI modela. Tehnički prijedlog objavljen je istoga dana kao radni nacrt povezan s IETF-ovom skupinom za izražavanje preferencija o korištenju sadržaja.

Za hrvatsku tvrtku ovo nije samo pitanje autorskih prava ili tehničke administracije. Odluka može utjecati na to kako se upravlja poslovnim tekstovima, fotografijama, dokumentacijom, bazom znanja i drugim sadržajem koji je javno dostupan na webu.

Ipak, novu oznaku ne treba odmah dodavati. Najavljena podrška još nije u punoj primjeni: OpenAI navodi da je planira uvesti tijekom sljedećih mjeseci, dok Google cilja 2027. godinu. Objavljeni tehnički dokument još je radni nacrt, a ne dovršeni internetski standard.

Što se zapravo mijenja u datoteci robots.txt?

Webovi danas često moraju zasebno navoditi pravila za različite automatizirane programe koji pregledavaju sadržaj. Nova ideja uvodi zajedničku oznaku za namjenu, a ne za pojedinu tvrtku. Umjesto održavanja zasebnog pravila za svakog pružatelja AI usluge, vlasnik weba mogao bi jednom izraziti preferenciju o korištenju sadržaja za treniranje.

Predložena oznaka odnosi se na treniranje temeljnih generativnih modela. Omogućuje i precizniju odluku po dijelovima weba. Tvrtka bi, primjerice, mogla izraziti da ne želi korištenje članaka i tehničke dokumentacije za treniranje, ali da dopušta korištenje javnog kompleta materijala za medije.

Važno je razumjeti ograničenje: robots.txt izražava pravilo ili preferenciju prema automatiziranim sustavima, ali sam po sebi nije tehnička zaštita koja onemogućuje kopiranje sadržaja. Njegov učinak ovisi o tome podržava li ga određeni pružatelj i primjenjuje li ga u skladu s objavljenim pravilima.

Zbog toga trenutačno nije dovoljno samo upisati novu oznaku i pretpostaviti da je pitanje riješeno. Prvo treba provjeriti koji je sadržaj vrijedan zaštite, koje postojeće postavke web već koristi i kada pružatelji koje želite obuhvatiti stvarno počinju primjenjivati novu kontrolu.

AI treniranje nije isto što i pojavljivanje u odgovorima

Najveći rizik nove oznake nije tehnička pogreška, nego pogrešna poslovna odluka. Tvrtka može željeti zabraniti treniranje na svojem sadržaju, a istodobno željeti da njezine usluge, proizvodi i stručni članci ostanu dostupni tražilicama i AI alatima koji korisniku daju aktualan odgovor s poveznicom na izvorni web.

Te dvije namjene nisu jednake:

Treniranje modela odnosi se na korištenje sadržaja pri razvoju ili poboljšavanju generativnog modela.
Pretraživanje i dohvaćanje odnosi se na pristup aktualnoj stranici kada korisnik postavi pitanje ili pretražuje određenu temu.
Uvrštavanje u rezultate odnosi se na prikaz stranice, poveznice ili citata u tražilici ili AI odgovoru.

Objavljeni tehnički nacrt izričito odvaja preferenciju o treniranju od postojećih pravila o pristupu pojedinih automatiziranih programa. Drugim riječima, zabrana AI treniranja ne mora automatski značiti zabranu indeksiranja, pretraživanja ili citiranja.

To je posebno važno za tvrtke koje ulažu u stručne članke i organsku vidljivost. Preširoko pravilo može nenamjerno ograničiti poželjan pristup, dok preusko pravilo možda neće obuhvatiti sadržaj koji tvrtka doista želi zaštititi.

Koji sadržaj poslovnog weba treba prvo pregledati?

Odluku ne treba donositi za cijelu domenu bez pregleda vrsta sadržaja. Poslovni web obično sadrži materijale koji nemaju jednaku vrijednost, namjenu ni razinu osjetljivosti.

Prvo popišite sadržaj koji objavljujete:

opise usluga i proizvoda
stručne članke, vodiče i istraživanja
fotografije, ilustracije i videozapise
upute, dokumentaciju i odgovore na česta pitanja
studije slučaja i iskustva klijenata
PDF kataloge, cjenike i prezentacije
korisnički generiran sadržaj, poput recenzija i komentara.

Zatim za svaku skupinu odredite cilj. Ako je sadržaj objavljen kako bi privukao nove korisnike, potpuno ograničavanje pristupa može biti suprotno poslovnom interesu. Ako je riječ o opsežnoj izvornoj dokumentaciji, plaćenom istraživanju ili sadržaju koji predstavlja važnu intelektualnu imovinu, odluka može biti drukčija.

Posebno provjerite datoteke koje su javno dostupne, ali ih posjetitelj teško pronalazi kroz izbornik. Automatizirani sustav može doći do PDF dokumenta, stare odredišne stranice ili arhivirane datoteke ako je njezina adresa javna. robots.txt nije zamjena za prijavu korisnika, kontrolu pristupa ili uklanjanje povjerljivih dokumenata iz javnog dijela weba.

Praktičan primjer odluke za malu tvrtku

Zamislimo proizvođača opreme koji na webu ima katalog proizvoda, tehničke vodiče, blog i portal za distributere. Tvrtka želi da kupci i dalje pronalaze proizvode u tražilicama i AI preporukama, ali ne želi bez razmišljanja dopustiti treniranje na detaljnim tehničkim vodičima.

Razumna odluka ne počinje blokiranjem cijelog weba. Tvrtka najprije treba odvojiti javne prodajne stranice od dokumentacije i privatnog portala. Stranice proizvoda mogu ostati dostupne za pretraživanje i aktualno dohvaćanje, dok se za tehničke vodiče može razmotriti posebna preferencija o treniranju. Portal distributera uopće ne bi trebao ovisiti o robots.txt datoteci, nego o stvarnoj prijavi i ovlastima korisnika.

Prije tehničke izmjene treba odgovoriti na četiri pitanja:

Koji je sadržaj izvoran i poslovno vrijedan?
Želimo li da ga korisnici pronađu kroz klasično i AI pretraživanje?
Želimo li samo ograničiti treniranje ili i automatizirani pristup?
Možemo li nakon izmjene pratiti što automatizirani sustavi zaista posjećuju?

Takav pristup smanjuje mogućnost da zaštita jednog dijela sadržaja nenamjerno oslabi vidljivost cijele ponude.

Što provjeriti prije bilo kakve izmjene?

Najavljena zajednička oznaka još nije razlog za hitnu intervenciju. Sada je korisnije pripremiti tehnički i sadržajni pregled weba.

Pregledajte postojeću robots.txt datoteku. Utvrdite postoje li već pravila za tražilice, AI programe ili određene direktorije.
Provjerite indeksiranje važnih stranica. Zabilježite koje stranice donose organske posjete i upite prije promjene.
Odvojite treniranje od dohvaćanja. Nemojte primijeniti opću zabranu ako želite ostati vidljivi u aktualnim odgovorima i rezultatima.
Popišite osjetljive i vrijedne materijale. Ako nešto ne bi smjelo biti javno, zaštitite ga kontrolom pristupa, a ne samo pravilom za automatizirane programe.
Pričekajte potvrđenu podršku. Prije aktivacije provjerite službenu dokumentaciju svakog relevantnog pružatelja i datum početka primjene.
Planirajte mjerenje nakon izmjene. Pratite zapisnike poslužitelja, indeksiranje, organski promet i promjene u vidljivosti važnih stranica.

U sklopu naše SEO optimizacije web-stranica analiziramo sadržaj, tehničke postavke, naslove i interne poveznice te određujemo prioritete za praćenje organske vidljivosti. Kod ove odluke takav pregled pomaže razlikovati stranice koje trebaju biti što dostupnije od sadržaja za koji ima smisla postaviti posebna pravila.

Ako se robots.txt datoteka mijenja u sklopu redovite tehničke skrbi, korisno je izmjenu evidentirati, testirati i povezati s provjerom važnih stranica. Održavanje weba treba uključivati jasan opseg promjene i mogućnost vraćanja prethodne verzije ako se pojavi neželjena posljedica.

Zaključak: prvo odredite cilj, zatim mijenjajte pravila

Nova zajednička oznaka mogla bi pojednostaviti izražavanje preferencija o AI treniranju, ali 4. studenoga 2026. još nije kontrola koju treba bez provjere uključiti na svakom poslovnom webu. Podrška je najavljena, tehnički dokument je radni nacrt, a rokovi primjene razlikuju se među pružateljima.

Ključna kontrolna točka glasi: želite li ograničiti treniranje, automatizirani pristup ili pojavljivanje sadržaja u rezultatima? Tek kada je odgovor jasan, može se ispravno odabrati tehnička postavka.

Ako niste sigurni što trenutačna robots.txt pravila dopuštaju i bi li promjena mogla utjecati na vidljivost važnih stranica, možete nam se javiti za pregled postojećih postavki. Cilj pregleda nije automatski blokirati AI sustave, nego donijeti dokumentiranu odluku koja odgovara vrijednosti sadržaja i načinu na koji kupci pronalaze vašu tvrtku.