Obsah
Ahoj všichni, začínám tímto návodem na robots.txt, doufám, že se vám bude líbit 
Umožněte všem robotům navštívit všechny soubory uložené v kořenovém adresáři webu:
Uživatelský agent: * Zakázat:
Zabraňte přístupu ke všem robotům a všem souborům uloženým v kořenovém adresáři:
Uživatelský agent: * Zakázat: /
Povolit přístup pouze jednomu robotu, v tomto případě bude moci procházet pouze Google
User-agent: googlebot Disallow: User-agent: * Disallow: /
Nejoblíbenější roboti mají název, který se používá v user-agentu
googlebot => pro Google
msnbot => Hledat MSN
yahoo-slurp => Yahoo!
scrubby => Čistit web
robozilla => DMOZ Checker
ia_archiver => Alexa / Wayback
baiduspider => Baidu
Existují také konkrétnější roboti, například ti na obrázcích
googlebot-image => Obrázek Google
googlebot-mobile => Google Mobile
Jiný příklad, že musí být blokovány všechny podadresáře, které obsahují zástupný znak (/), pouze tyto, kromě všech ostatních souborů a adresářů, které zástupný znak neobsahují, jsou nominálně blokovány adresáře systému nebo back -endu:
Uživatelský agent: * Disallow: / cgi-bin / Disallow: / images / Disallow: / tmp / Disallow: / adminstrador /
Zabraňte sledování konkrétního souboru
Uživatelský agent: * Zakázat: /page.htm
Toho se hodně využívá, když chceme odstranit stránku, která udává chybu 404, nebo odstranit stránku z výsledků vyhledávání, a zabránit tak jejímu procházení.
Spravujte frekvenci procházení robotů
Z Google Analytics a od webmastertools můžete vidět statistiky a můžete také vidět, že někdy některým robotům trvá dlouho, než zkontrolují náš web a odešlou požadavky na server, roboti spotřebovávají šířku pásma a zdroje, jako by to byl jen další návštěvník.
Existuje způsob, jak se roboti nevymknou kontrole, můžeme to říci každému
Uživatelský agent: googlebot Zpoždění procházení: 30
Tímto informujeme robota Google, aby počkal 30 sekund mezi každým procházením. Buďte opatrní, protože zpoždění procházení nemusí být podporováno všemi vyhledávači, Bing a Google ano.
Oficiální webová stránka robots.txt Je to http://www.robotstxt.org/, kde najdeme jména všech robotů, specifikace kódu. Zde se ukazuje, že roboti slouží ke standardizaci těch, které je třeba sledovat, a používají se na jiných platformách ke sledování a ověřování html, ověřování odkazů, indexování informací, aktualizace obsahu ve vyhledávačích, ochraně webových stránek.Líbil se vám tento návod a pomohl mu?Autora můžete odměnit stisknutím tohoto tlačítka, čímž mu dáte kladný bod
