robots.txt: kompletní průvodce konfigurací

Co je robots.txt a k čemu slouží?

robots.txt je jednoduše soubor hostovaný v kořeni vašeho webu, který umožňuje zabránit určitým botům (jako jsou ti od Googlu nebo Bingu) navštěvovat váš web nebo jeho části.

POZOR: je důležité vědět, že je to protokol a obecně platí, že všichni „dobří" boti ho dodržují (GoogleBot, BingBot, Semrush…), ale jakýkoli bot se zlými úmysly ho může přeskočit, jako Screaming Frog při zaškrtnutí této možnosti:

Proč je soubor robots.txt důležitý pro SEO?

Jak jsme zmínili dříve, všichni dobří boti (jako GoogleBot) tento protokol dodržují, takže to, co můžeme udělat, je použít tento soubor k vedení Googlu po našem webu.

Co? Co tím myslíte? Vést Google s robots.txt?

Ano, žádné starosti, vysvětlíme to na příkladu, aby to bylo mnohem jasnější:

Představte si, že na svém webu máte soukromou oblast, ke které mohou přistupovat pouze registrovaní uživatelé, a jak dobře víme, Google nemůže přistupovat k žádnému webu, který vyžaduje login (zatím…).

Takže by nedávalo smysl, aby Google neztrácel náš crawl budget procházením stránek, které pro něj nemají hodnotu?

Přesně! Jedním z nejdůležitějších použití robots.txt je blokovat cesty, které mají pro Google malou hodnotu, a tímto způsobem ho zaměřit na důležité stránky našeho webu. Z tohoto důvodu by robots.txt měl být jedním z pilířů, na které pamatovat v rámci naší SEO strategie.

Toto je jen jeden příklad z tisíců věcí, které můžeme s tímto souborem dělat. Další příklady zahrnují označení naší sitemapy, snížení intervalu procházení, blokování procházení zdrojů…

Jak vytvořit soubor robots.txt

Tak… pusťme se do práce!

Vytvoření tohoto souboru je opravdu jednoduché, stačí si vzít svůj textový editor (Notepad ve Windows nebo TextEdit na Macu) nebo použít online a po sepsání vašeho robots.txt ho exportujte jako txt soubor.

Jakmile ho máme, stačí ho pojmenovat „robots.txt" a nahrát ho do kořene vašeho webu přes panel serveru nebo přes FTP.

Pro kontrolu, zda byl správně nahrán, stačí přidat „/robots.txt" k vaší doméně, například https://seocrawl.com/robots.txt

POZOR: Buďte opatrní s cache, je lepší ho prohlížet v anonymním režimu ;)

Co když mám WordPress?

Pokud máte WordPress, je to jednodušší, protože nejlepší SEO pluginy jako Rank Math nebo Yoast přicházejí s vestavěným doplňkem pro úpravu robots.txt přímo.

V případě Rank Math ho najdete v Rank Math > General Settings > Edit robots.txt

V případě Yoast budeme muset jít na SEO > Tools > File Editor

Tímto způsobem můžete soubor snadno upravovat nebo vytvářet, aniž byste museli provádět některé z výše vysvětlených kroků.

Příkazy

Níže se podíváme na mnoho příkazů, které máme k dispozici, spolu s jejich odpovídajícími příklady:

Zablokovat procházení vašeho webu

User-agent: * Disallow: /

POZNÁMKA: Pokud vyvíjíte svůj web a nechcete, aby na něj žádný bot vstupoval, četl a indexoval váš obsah, toto pravidlo funguje skvěle.

Zablokovat procházení stránky

User-agent: * Disallow: /url-stranky-kterou-nechci-procházet

Zablokovat procházení složky

User-agent: * Disallow: /složka/

Povolit přístup ke stránce

User-agent: * Allow: /stránka

Zablokovat složku a povolit stránku v té složce

User-agent: * Disallow: /složka/ Allow: /složka/stránka

Označit sitemapu

Sitemap: https://domena.com/sitemap.xml

Dávat příkazy specifickým botům

V tomto případě se u toho zastavíme trochu déle. Pokud jste si všimli, většina předchozích direktiv začínala:

User-agent: *

To „*" odkazuje na všechny boty. To znamená, že všechny direktivy po té lince platí pro všechny boty. Pokud chceme posílat specifické příkazy určitým botům, budeme to muset změnit takto:

User-agent: Googlebot Pokud chceme odkázat na bota Googlu

User-agent: Bingbot Pokud chceme odkázat na bota Bingu

User-agent: DuckDuckBot Pokud chceme odkázat na bota DuckDuckGo

Stačí zjistit, jak se jmenuje bot, kterému chcete poslat příkaz, a pojmenovat ho, jak jsme vám právě ukázali.

Zkontrolovat a otestovat soubor robots.txt

Nyní, když jste dokončili „doladění" svého robots, abyste ho nechali plně optimalizovaný a přizpůsobený pro váš web, jediné, co zbývá, je ho otestovat.

Otestovat? K čemu?

No, otestovat ho, abychom se ujistili, že jsme se nepřehoupli na žádném řádku a že skutečně funguje k blokování částí webu, které chceme zablokovat.

K tomu doporučujeme použít tento nástroj.

Jakmile jste uvnitř, stačí:

• ›

  Zadat URL, u které chcete zkontrolovat, zda je procházení povoleno

• ›

  Zvolit User Agent

• ›

  Kliknout TEST

Hned poté se načte celý náš soubor robots.txt a níže nám řekne, zda je přístup povolen, či nikoli.

V tomto případě, jak vidíme, nám dává pozitivní výsledek, ale pokud bychom zadali URL, která není povolena, zvýraznil by také řádek, který ji blokuje:

Navíc nám tento nástroj umožňuje upravovat náš soubor robots.txt přímo odtamtud, abychom udělali jakékoli úpravy, které potřebujeme, aby výsledek odpovídal našemu cíli. Po úpravě a otestování stačí ty nové úpravy aplikovat na náš robots.

Bonusový tip: udělejte svůj robots.txt nezapomenutelným

Ukázali jsme vám tunu řádků kódu, které fungují pro boty, ale můžete také vkládat komentáře tím, že začnete řádek znakem „#". To znamená, že cokoli začínající „#" budou boti ignorovat. To otevírá svět možností a vnitřních vtipů. Z toho důvodu vám doporučujeme podívat se na robots.txt webů windupschool, pccomponentes nebo Minube, určitě narazíte na překvapení ?

Závěr

Jak jste viděli, soubor robots.txt toho má hodně co nabídnout a vyžaduje také hodně péče, protože špatně umístěná direktiva může zablokovat procházení vašeho webu.

Doufáme, že je tato příručka pro vás užitečná, a pro jakékoli otázky se uvidíme v komentářích.