Crawling

Crawling je proces, při kterém prohledávací robot (crawler, spider, bot) shromažďuje informace o stránkách. Roboti prochází neustále miliardy stránek, o kterých si ukládají (či aktualizují) informace do indexu. Z něj pak nabízí výsledky na vyhledávací dotazy (proto při tvorbě webu využíváme analýzu klíčových slov). Čas prohledávání (čas, který stráví robot právě na vaší stránce) je důležitým faktorem pro SEO. Určí totiž, kolik stránek na vašem webu boti projdou. 

Datum přítomnosti Google robota na stránkách můžete zjistit v Google Search Consoli. Aby mohl robot vaše stránky prohledávat, měl by mít povolený přístup v robots.txt (pokud není zakázán, je automaticky povolen). Robots.txt musí být napsán malými písmeny a musí být umístěn hned v kořeni webu - např. https://www.evolutionmarketing.cz/robots.txt - napsat ho není nic složitého, jedná se o textový soubor a můžete ho vytvořit i v poznámkovém bloku.

Pro povolení přístupu můžete použít příkaz Allow: (povolit přístup), pro zákaz naopak Disallow: (nedovolit přístup). Prohledávacích robotů je mnoho (Google jich používá hned několik, další má třeba Seznam a ostatní vyhledávače). Hvězdička * je příkaz pro všechny boty. Do robots.txt určitě umístěte i sitemapu, tedy mapu stránek, na které roboti zjistí, které podstránky existují a na které by tedy měli přijít. 

Příklad zápisu v robots.txt 
User-Agent: *
Disallow: /vyhledavani/

Sitemap: https://www.evolutionmarketing.cz/_sitemap_articles.xml

Doslova tento zápis říká, že všichni roboti nesmí do vyhledávání (u některých webů vytváří vyhledávání na něm nové URL, které jsou totožné s mnoha jinými a vznikají tak duplicity obsahu - tedy duplicity z pohledu vyhledávače). Zvažte, na která místa nechcete robota pustit (např. pro případy, aby nevznikaly zbytečné duplicity - při filtrování zboží na eshopu apod.). Dále ukazuje robotům uložení sitemapy (mapy stránek). Pokud chcete o SEO vědět víc, přečtěte si náš nekonečný SEO seriál.