Da se vaša stran pojavi v iskalniku, morata uspeti dva ločena koraka: crawljanje (iskalnik stran obišče in prebere) in indeksiranje (stran uvrsti v svojo zbirko, da se lahko prikaže v rezultatih). Pri tem imate dva cilja: poskrbeti, da iskalnik vaše pomembne strani hitro odkrije in indeksira, in obenem nepomembne ali zasebne strani pustiti zunaj. Za prvo skrbijo zemljevid strani, povezave in hiter strežnik, za drugo pa robots.txt in oznaka noindex - dve orodji, ki ju ne smete zamenjati.
Crawljanje proti indeksiranju
Datoteka robots.txt uravnava crawljanje: iskalniku pove, katerih naslovov naj ne obiskuje. Oznaka noindex (v glavi strani) pa uravnava indeksiranje: iskalniku pove, naj strani ne uvrsti v rezultate. Robots.txt torej ne odstrani strani iz rezultatov - to zmore le noindex.
Kako pospešiti obisk bota in indeksiranje
Iskalnik nove strani odkrije na tri načine: prek zemljevida strani (XML sitemap), prek notranjih povezav in prek povratnih povezav z drugih spletnih mest. Da bo odkrivanje hitro:
- Oddajte zemljevid strani v Google Search Console in poskrbite, da se sproti posodablja s svežimi datumi (lastmod) - statičen sitemap, ki se nikoli ne spremeni, izgubi smisel.
- Močno interno povezujte: več notranjih povezav z uveljavljenih strani na novo vsebino pomeni hitrejše odkritje.
- Zahtevajte indeksiranje posamezne pomembne strani prek orodja za preverjanje URL-jev v Search Console (na voljo je le okrog 10 do 12 zahtev na dan, zato jih namenite najpomembnejšim).
- Uporabite protokol IndexNow, ki ob objavi takoj obvesti iskalnike (Bing in drugi), da je vsebina nova ali spremenjena.
- Hiter, zanesljiv strežnik: hiter odziv in dobri Core Web Vitals iskalniku omogočijo, da v istem času obišče več vaših strani.
Upoštevajte tudi crawl budget: novim trgovinam in stranem z malo avtoritete iskalnik nameni manj obiskov, zato je njihovo odkrivanje počasnejše.
Povratne povezave pospešijo odkrivanje
Povratne povezave (linki z drugih spletnih mest na vašo stran) so ena od treh poti, po katerih iskalnik odkriva vsebino - in to zelo učinkovita. Naslovom, na katere kažejo zaupanja vredni viri, iskalnik nameni višjo prioriteto crawljanja, hkrati pa take povezave gradijo avtoriteto vaše strani in s tem večji crawl budget. Razlika je opazna: mesta z močno avtoriteto so pogosto indeksirana v nekaj dneh, šibkejša pa lahko tudi nekaj tednov. Povratne povezave torej niso le signal za uvrstitev, ampak tudi pospeševalec odkrivanja in indeksiranja. (Gradnji avtoritete s povezavami je namenjen ločen korak.)
Najpogostejša napaka: robots.txt ni za skrivanje iz rezultatov
Če naslov v robots.txt prepoveste, ga iskalnik ne obišče, a ga lahko vseeno uvrsti v rezultate - brez vsebine, le z naslovom - če nanj kažejo povezave. Iz tega sledi pravilo: če želite stran odstraniti iz rezultatov, ji dajte noindex in pustite, da jo iskalnik crawla. Naslova, ki naj se deindeksira, NE smete hkrati prepovedati v robots.txt, sicer iskalnik oznake noindex nikoli ne vidi in stran ostane v indeksu. Crawljanje dovolite, nato uporabite noindex.
Kaj v spletni trgovini skriti pred iskalnikom
V robots.txt smiselno prepoveste crawljanje naslovov brez vrednosti za iskanje, ki le zapravljajo crawl budget: zaključek nakupa (/checkout/), košarico (/cart/) in uporabniški račun (/customer/), notranje iskanje (/catalogsearch/result/) in primerjavo izdelkov ter sejne in trgovinske parametre (?SID=, ?___store=). V robots.txt vključite tudi povezavo do zemljevida strani, da ga iskalnik zlahka najde.
Kako to nastavite v Magentu
Magento ima vgrajeno urejanje datoteke robots.txt: v Vsebina > Oblika > Konfiguracija (po trgovini) v razdelku Iskalni roboti nastavite privzeto vrednost oznake robots (npr. INDEX, FOLLOW), dodate lastna pravila Disallow in povezavo do zemljevida. Zemljevid strani Magento generira samodejno (Trgovina > Konfiguracija > Katalog > Zemljevid strani XML). Za natančen nadzor oznake noindex po posameznih tipih strani je pogosto potreben namenski SEO modul, saj jedrni Magento te ravni nadzora ne ponuja.
Kako merite, ali deluje
V Google Search Console uporabite Preverjanje URL-jev (ali je stran indeksirana in zakaj ne) ter poročilo o straneh. Spremljajte čas od objave do indeksacije novih strani - če se krajša, vaši ukrepi za pospeševanje delujejo. Posebej bodite pozorni na opozorilo "Indeksirano, čeprav blokirano z robots.txt", ki je znak napačne rabe. Cilj je dvojen: pomembne strani naj bodo hitro in zanesljivo indeksirane, nepomembne in zasebne pa zunaj.
