Znalost Googlebota

Googlebot je robot, který vám umožňuje sledovat pavučinu Google, je také známý jako Google spider. Tímto způsobem systém objeví nové stránky, které byly indexovány do jeho databáze, kde jsou aktualizovány, a je začleněn zpět do indexu Google.
Google používá velké množství počítačového vybavení k procházení miliard stránek, které jsou distribuovány na webu. Je založen na algoritmickém procesu sledování, kdy počítačové programy určují weby, které mají být sledovány, a také frekvenci a počet stránek, které je třeba na každém webu hledat. Proces začíná seznamem webových stránek generovaných dříve, který je rozšířen na základě údajů poskytnutých mapami webů, které správci webu začleňují. Googlebot detekuje odkazy při každé návštěvě těchto webových stránek a přidá je do seznamu stránek, které mají být procházeny. Systém detekuje nové stránky, změny provedené na stávajících a odkazy, které jsou zastaralé, a poté aktualizuje index Google.
Jak Googlebot přistupuje na web
Googlebot na stránky se obvykle nedostanete více než jednou a na několik sekund. Obecně systém stáhne pouze jednu kopii každé stránky, v případě, že stahujete stejnou stránku vícekrát, je to pravděpodobně způsobeno zastavením a restartováním prolézacího modulu.
Googlebot je distribuován na několika počítačích a někteří pavouci běží z počítačů, které se nacházejí poblíž stránek, které indexují. Je možné, že protokoly stránek zobrazují návštěvy z více počítačů jako user-agent.
Cílem je procházet co největší počet stránek na webu při každé vaší návštěvě, aniž by došlo ke sbalení šířky pásma serveru.
Systém vyhledává weby pomocí odkazů na jejich stránkách. V případě chyb ve sledování je lze vidět v Nástrojích pro webmastery poskytovaných společností Google. Obsahuje seznam problémů, se kterými se můžete setkat při procházení webu. Je vhodné pravidelně kontrolovat všechny chyby procházení, které mohou nastat, abyste je identifikovali a opravili.
Protože se IP adresy zpracovávané robotem Googlebot čas od času liší, je ideální použít robot „user-agent“ (Googlebot). Google spider bude respektovat pokyny nalezené v souboru robots.txt, ale zlomyslní uživatelé je nemusí dodržovat.