Crawl budget: Co to je a jak ho optimalizovat

Co je crawl budget?

Crawl budget je čas, který Google věnuje návštěvě webu. Tento „rozpočet“ na procházení (crawling) ovlivňuje SEO a indexaci stránky, a proto je klíčové mu věnovat pozornost. Pro dosažení optimálního crawl budgetu jsou základní principy tyto:

• ›

  přístupnost

• ›

  rychlost

• ›

  kvalita

• ›

  autorita

Co je to crawler?

Crawler je pavouk neboli bot, který automaticky prochází weby a jejich URL. Tento bot ukládá a klasifikuje obsah, který se později uživatelům zobrazí ve výsledcích vyhledávání. Říká se mu Googlebot, protože v našem prostředí mluvíme o nejdůležitějším vyhledávači, kterým je Google. Z toho plyne, že je naprosto klíčové, aby Google váš web našel a věděl, že existujete.

Jak crawl budget ovlivňuje můj web?

Optimalizovaný crawl budget podpoří lepší pozice ve vyhledávání webu ve vyhledávačích. Navíc pomáhá ke správné indexaci všech důležitých stránek. Na crawl budget nesmíme ve své SEO strategii zapomínat, protože čas, který Google investuje do poznávání našeho webu, je velmi důležitý.

Jak to funguje?

Pavouci Googlu váš web procházejí, a pokud je crawl budget malý, je možné, že odejdou bez procrawlování veškerého nového obsahu. Rozpočet přidělují podle dvou faktorů:

• ›

  Crawl limit: Udává maximum, které web zvládá, a jaké jsou preference.

• ›

  Crawl demand: Udává frekvenci, s jakou by měl být web procházen, a to podle popularity webu a frekvence aktualizací.

Víte, jak často je váš web procházen?

Díky Google Search Console vidíme statistiky procházení za poslední tři měsíce. V nich uvidíme stránky procházené za den, kilobajty stažené za den a dobu stahování stránky v milisekundách. Data mají průměr klasifikovaný jako vysoký, normální a nízký. Tato data jsou vypovídající, vezmeme-li v úvahu celkový počet stránek na webu a průměrná denní data procházení. Díky nim zjistíme, jestli jsme v normě, nebo naopak potřebujeme crawl budget zlepšit.

Je nižší crawl budget škodlivý?

Nižší crawl budget má své nevýhody:

• ›

  Obtíž obsahu rychle se umístit, protože Google neví, že existuje, a tudíž ho neprocrawluje a nezaindexuje.

• ›

  Vzdálenější části webu budou citlivá místa, pokud je crawl budget malý. Bot nebude mít čas projít stránky nebo sekce, které jsou hlouběji.

• ›

  Provedené on-page optimalizace nebudou procrawlované, a tedy se nezviditelní.

• ›

  Pokud jiný web stejný obsah zaindexuje a vypozicuje dříve než my, Google může vyhodnotit, že jsme obsah okopírovali, a penalizovat nás.

• ›

  Velký crawl budget nic nezaručuje, pokud ho správně nevyladíte.

Jak se chovají pavouci?

Abychom věděli, které stránky Google navštěvuje a do kterých investuje čas na procházení a zda se shodují s našimi prioritami pro SEO, musíme se podívat na informace z logů.

Logy jsou požadavky na server, které se ukládají a ke kterým se dostaneme, abychom zjistili, co Googlebot navštěvuje a co ne. Export a uspořádání tohoto dokumentu je snazší se ScreamingFrog Log File Analyser.

Jak optimalizovat náš crawl budget?

Musíme mít jasno, které URL jsou pro nás klíčové, jak pro SEO, tak pro byznys, abychom dosáhli toho, že se procrawlují nejvíce. Není smysluplné investovat crawl budget do stránek, které nejsou skutečně důležité, jako jsou stránky s parametry, stránkování apod.

Klíčové bude nemít problémy s duplicitním obsahem ani s URL, které kanibalizují stejné klíčové slovo. Nekvalitní obsah je také škodlivý, protože jím boti tráví čas.

Pro optimalizaci se musíme zaměřit na následující oblasti:

WPO (Web Performance Optimization)

Optimalizujte rychlost načítání neboli WPO, aby Googlu netrvalo příliš dlouho web procrawlovat. Google má rád čistý kód a co nejmenší počet souborů, aby usnadnil načítání a docílil optimálního UX při procházení.

Nezapomeňte:

• ›

  Zmenšit a zkomprimovat soubory CSS a JS

• ›

  Hlídat váhu a velikost obrázků a specifikovat jejich rozměr

• ›

  Zvolit Nginx jako server pro lepší pozice ve vyhledávání přes cache.

Odkazy a přesměrování

Bot procrawluje veškerý obsah na webu a navíc projde úplně každý odkaz na každé stránce. Pro správný crawl je třeba zohlednit:

• ›

  Vyhněte se zbytečným přesměrováním, Google se v nich ztratí.

• ›

  Řetězené přesměrování je přesměrování mnoha URL, které způsobí, že se Google v nich ztratí, aniž by se dostal k cílovým URL.

• ›Broken links (odkazy na stránky se statusem 404 not found) v interním prolinkování.

Screaming Frog a Search Console budou našimi spojenci při detekci chybných přesměrování a všech druhů URL s chybou.

Interní prolinkování

Interní prolinkování je třeba ošetřit pečlivě, abychom to s odkazy nepřehnali a boti se v procrawlovaných URL neztratili.

• ›Musíme posílit nejdůležitější oblasti a méně důležité ponechat méně prolinkované. Proto budou existovat stránky jako zásady ochrany osobních údajů či cookies, které není vhodné linkovat z každé stránky v hlavním menu nebo patičce.

Kód

• ›Doporučuje se používat HTML, kdykoli je to možné, abychom botům usnadnili procházení a indexaci. Je dobře známé, že Google s obtížemi rendruje a indexuje stránky závislé na JavaScriptu.

XML Sitemap

Sitemap je jeden ze základních souborů pro Google, protože zaručuje správné procházení a indexaci webu.

• ›

  Čím víc je organizovaná, tím lépe. Strukturujte sitemapu po vertikálách nebo složkách.

• ›

  Pojmenujte ji popisným názvem. Vyhněte se příliš obecným jménům typu „sitemap 1“.

• ›

  Zvláštní sitemapa pro obrázky, videa a podle jazyka.

• ›

  URL, které do ní zařadíte, by měly být vždy ty nejdůležitější, takže nezahrnujte stránky s přesměrováním, bez canonical tagu, stránky s filtry, stránkováním atd. Také nezahrnujte málo relevantní stránky, jako jsou zásady ochrany osobních údajů či cookies.

Robots.txt

Společně se sitemapou je soubor robots.txt jedním z klíčových souborů pro indexaci a procházení webu. Nezapomeňte ho tedy co nejlépe optimalizovat:

• ›

  Odkazujte v něm XML sitemap pro maximální usnadnění procházení.

• ›

  Neblokujte důležité složky. K tomu si vyzkoušejte tester robots.txt v Search Console a ověřte, zda neblokujete nějakou důležitou složku či stránku.

• ›

  Neblokujte stránky s přesměrováním ani s canonical tagem.

• ›

  Povolte přístup k JS a CSS.

Hreflang tagy

• ›Tyto atributy pomáhají Googlu identifikovat, ve kterých jazycích a v kolika je web dostupný.

Metarobots noindex a X-Robots-Tag

Tyto direktivy říkají botovi, které stránky nebo složky se nemají indexovat, ale neblokují jim přístup k procházení.

• ›

  Tagy s direktivou metarobots „noindex“ spotřebovávají crawl budget, takže je důležité je nadměrně nepoužívat.

• ›

  Hlavička X-Robots se vkládá v hlavičce na úrovni kódu a může Googlu předávat několik direktiv včetně neindexování stránky.

Použité zdroje:

• ›

  José Facchin: Co je crawl budget, jak je důležitý pro Google a jak ho zlepšit?

• ›

  SEOCOM Agency: Co je crawl budget?

• ›

  Big SEO Agency: Co je crawl budget? Klíče k jeho optimalizaci

• ›

  ContentKing: Crawl budget v SEO: referenční průvodce

• ›

  Mi posicionamiento web: Co je crawl budget?

• ›

  Luis Villanueva: Co je crawl budget?

• ›

  Neil Patel: How to Use Google's Crawl Budget to Improve Your Website's SEO

• ›

  Search Engine Journal: 7 tips to optimize Crawl Budget for SEO

• ›

  Webmasters Google Blog: What crawl Budget means for Googlebot?

• ›

  DeepCrawl: What is crawl budget?