Stručně: robots.txt je textový soubor v kořeni hostitele, kterým web sděluje podporovaným crawlerům, které cesty smějí načítat. Není to spolehlivý nástroj pro odstranění URL z indexu.
Jak robots.txt používám v praxi
V praxi pojem robots.txt nepoužívám jako další číslo do prezentace. Nejdřív si určím, které rozhodnutí má zpřesnit, z jakých dat nebo pozorování vychází a kdo podle výsledku něco změní. Kontroluji skutečný soubor na každém hostiteli, pravidla pro konkrétní user-agent a to, zda blokace nebrání načtení obsahu nebo direktivy noindex. Zapisuji také výchozí stav, datum měření a hranice interpretace. Díky tomu lze později rozlišit skutečný posun od změny nástroje, vzorku nebo formulace dotazu.
Na co si dát pozor
Největší riziko je přesnost, která je pouze na pohled. Zablokovaná URL se může dál objevit ve výsledcích bez úryvku, protože robot její noindex ani stavovou odpověď nepřečte. Výsledek proto porovnávám v čase, na stabilním vzorku a společně s obchodním kontextem. Pokud pojem nevede ke konkrétnímu dalšímu kroku, nevznikla analýza, ale jen nový štítek.
Otázky pro rozhodnutí
- Kterému robotovi pravidlo patří?
- Neblokuje důležité CSS, JavaScript nebo stránky?
- Má být URL neprocházená, nebo skutečně neindexovaná?
- Je v souboru uvedena správná sitemap?