Stručně: Crawler je program, který automaticky navštěvuje URL, čte jejich obsah a sleduje odkazy. Vyhledávače ho používají k objevování a opakované kontrole stránek.
Jak Crawler používám v praxi
Crawler řeším od nejjednoduššího testu k dražší diagnostice. Nejdřív se pokusím problém zopakovat, oddělím chybu obsahu od chyby šablony a zjistím, kolika adres se týká. Opravu nasadím na malém vzorku, zkontroluji stav, interní odkazy a až potom ji rozšířím.
Na co si dát pozor
Technické řešení nemá zakrývat slabý obsah. Crawler může odstranit překážku, ale nevytvoří důvod, proč má člověk stránku navštívit nebo jí věřit. Opravu proto hodnotím společně s rolí URL, interním prolinkováním a dalším krokem.
Otázky pro rozhodnutí
- Co přesně vrací server a co vidí člověk na důležité URL?
- Jde o jednotlivou chybu, nebo vzor ve společné šabloně?
- Jaký je dopad na dohledatelnost, použití nebo konverzi?
- Jak změnu otestujeme před plošným nasazením?