Crawl Budget: czym jest i jak go optymalizować

Czym jest Crawl Budget?

Crawl budget to czas, który Google poświęca na odwiedzenie strony internetowej. Ten budżet wpływa na pozycjonowanie i indeksowanie witryny i dlatego kluczowe jest, by zwracać uwagę na crawl budget naszej strony. Aby osiągnąć optymalny crawl budget, kluczowe zasady to:

• ›

  dostępność

• ›

  szybkość

• ›

  jakość

• ›

  autorytet

Czym jest crawler?

Crawler to spider lub bot odpowiedzialny za automatyczne crawlowanie stron internetowych i ich URL-i. Ten bot przechowuje i klasyfikuje treści, które później są pokazywane użytkownikom w wynikach wyszukiwania. Nazywa się Googlebot, ponieważ mówimy o najważniejszej wyszukiwarce, jaką jest Google. To powiedziawszy, kluczowe jest, aby Google znalazło Twoją stronę i wiedziało, że istniejesz.

Jak Crawl Budget wpływa na moją stronę?

Zoptymalizowany crawl budget poprawi pozycjonowanie Twojej strony w wyszukiwarkach. A do tego pomoże w prawidłowym indeksowaniu wszystkich ważnych stron. Nie możemy zapominać o crawl budget w naszej strategii pozycjonowania SEO, ponieważ czas, który Google poświęca na poznanie naszej witryny, jest bardzo ważny.

Jak to działa?

Spidery Google crawlują Twoją stronę i jeśli crawl budget jest niewielki, możliwe, że opuszczą witrynę bez zbadania całej nowej treści. Przydzielają budżet w oparciu o dwa czynniki:

• ›

  Crawl limit: wskazuje maksymalny crawl, który strona obsługuje, oraz preferencje.

• ›

  Crawl demand: wskazuje częstotliwość, z jaką witryna powinna być crawlowana, w oparciu o popularność strony i częstotliwość jej aktualizacji.

Czy wiesz, jak często Twoja strona jest crawlowana?

Dzięki Google Search Console możemy zobaczyć statystyki crawlowania z ostatnich trzech miesięcy. Możemy w nich zobaczyć liczbę crawlowanych stron dziennie, kilobajty pobrane dziennie oraz czas pobrania strony w milisekundach. Dane są klasyfikowane jako wysokie, normalne i niskie. Te dane są bardzo poglądowe, jeśli weźmiemy pod uwagę całkowitą liczbę stron naszej witryny i średnie dane crawl na dzień. Dzięki nim możemy się zorientować, czy mieścimy się w normie, czy też musimy poprawić crawl budget.

Czy mniejszy crawl budget szkodzi?

Posiadanie mniejszego crawl budget ma swoje wady:

• ›

  Trudność w szybkim pozycjonowaniu treści, ponieważ Google nie wie, że istnieją, a tym samym ich nie crawluje ani nie indeksuje.

• ›

  Obszary oddalone od strony to delikatne obszary, jeśli crawl budget jest niewielki. Bot nie będzie miał czasu, by przejść przez strony lub sekcje, które są dalej w obrębie witryny.

• ›

  Optymalizacje SEO on-page, które zostały wykonane, nie zostaną przecrawlowane, a zatem ulepszenia nie będą widoczne.

• ›

  Jeśli inna witryna zaindeksuje i wypozycjonuje tę samą treść przed naszą, Google może uznać, że to my skopiowaliśmy treść, i nas za to ukarać.

• ›

  Duży crawl budget niczego nie gwarantuje, jeśli nie zoptymalizujemy go poprawnie.

Jakie jest zachowanie spiderów?

Aby wiedzieć, jakie strony Google odwiedza i w które inwestuje swój czas na crawlowanie, oraz czy pokrywa się to z naszymi priorytetami SEO, musimy sprawdzić informacje pochodzące z logów.

Logi to żądania kierowane do serwera, które są przechowywane i do których możemy uzyskać dostęp, by wiedzieć, co Googlebot odwiedza, a czego nie. Eksport i organizacja tego dokumentu mogą być prostsze dzięki ScreamingFrog Log File Analyser.

Jak optymalizować nasz Crawl Budget?

Musimy mieć jasność co do naszych kluczowych URL-i — z perspektywy pozycjonowania i biznesu — by sprawić, że to one będą najbardziej crawlowane. Nie ma sensu inwestować crawl budget w strony, które nie są naprawdę istotne, takie jak strony z parametrami, paginacjami itp.

Kluczowe będzie, by nie mieć problemów z duplikatami treści ani URL-i kanibalizujących to samo słowo kluczowe. Treści niskiej jakości również są szkodliwe, ponieważ boty marnują czas na ich przeglądanie.

Aby to zoptymalizować, musimy skupić się na następujących obszarach:

WPO (Web Performance Optimization)

Zoptymalizuj szybkość ładowania (WPO), by Google nie zajmowało zbyt wiele czasu crawlowanie Twojej strony. Google lubi czysty kod i jak najmniejszą liczbę plików, by ułatwić ładowanie i osiągnąć optymalne doświadczenie użytkownika podczas przeglądania.

Nie zapomnij:

• ›

  Zmniejszać i kompresować pliki CSS i JS

• ›

  Pilnować wagi i rozmiaru obrazów oraz określać ich wymiary

• ›

  Wybrać Nginx jako serwer, by poprawić pozycjonowanie dzięki cache.

Linki i przekierowania

Bot przecrawluje całą zawartość Twojej strony i podąży za każdym z linków na każdej stronie. Aby ułatwić poprawny crawl, musisz wziąć pod uwagę:

• ›

  Powinieneś unikać niepotrzebnych przekierowań, ponieważ Google się w nich pogubi.

• ›

  Łańcuchy przekierowań to przekierowania wielu URL-i, które sprawią, że Google się w nich pogubi, nie docierając do docelowych URL-i.

• ›Zepsute linki (strony zalinkowane ze statusem 404 not found) w linkowaniu wewnętrznym.

Screaming Frog i Search Console będą naszymi szczególnymi sojusznikami w wykrywaniu wadliwych przekierowań i wszelkiego rodzaju URL-i z błędami.

Linkowanie wewnętrzne

Linkowanie wewnętrzne trzeba pielęgnować, by nie przesadzać z linkami i nie sprawić, że boty pogubią się przy crawlowaniu URL-i.

• ›Musimy wzmacniać najważniejsze obszary, a te mniej istotne pozostawić mniej zalinkowane. Z tego powodu są strony takie jak polityka prywatności czy strona o cookies, których nie warto linkować na każdej stronie z menu głównego lub stopki.

Kod

• ›Wskazane jest stosowanie HTML w jak największym zakresie, by ułatwić crawlowanie i indeksowanie botom. Wiadomo, że Google z trudem renderuje i indeksuje strony z JavaScriptem.

Sitemapa XML

Sitemapa to jeden z fundamentalnych plików dla Google, ponieważ gwarantuje poprawne crawlowanie i indeksowanie strony.

• ›

  Im bardziej zorganizowana, tym lepiej. Organizuj sitemapę według wertykałów lub folderów.

• ›

  Określ nazwę opisującą jej zawartość. Unikaj zbyt ogólnych nazw, takich jak „sitemap 1"

• ›

  Sitemapa dla obrazów, filmów i według języka.

• ›

  URL-e, które dołączasz, powinny być zawsze najważniejsze, więc nie umieszczaj stron z przekierowaniami, bez tagu kanonicznego, stron z filtrami, paginacjami itp. Również nie umieszczaj stron mało istotnych, takich jak polityka prywatności czy cookies.

Robots txt

Razem z sitemapą plik robots.txt jest jednym z kluczowych plików w indeksowaniu i crawlowaniu strony. Dlatego nie zapomnij zoptymalizować go w jak największym stopniu:

• ›

  Odwołując się do sitemapy XML, by maksymalnie ułatwić crawlowanie.

• ›

  Nie blokuj ważnych folderów. W tym celu możesz wypróbować tester robots.txt w Search Console i sprawdzić, czy nie blokujesz jakiegoś ważnego folderu lub strony.

• ›

  Nie blokuj stron z przekierowaniami lub kanonicznymi

• ›

  Zezwól na dostęp do JS i CSS

Tagi hreflang

• ›Te uzupełniające atrybuty pomogą Google zidentyfikować, w jakich językach i w ilu wersjach językowych dostępna jest strona.

Metarobots noindex i X-Robots-Tag

Te dyrektywy mówią botowi, które strony lub foldery nie powinny być indeksowane, ale nie blokują dostępu do crawlowania.

• ›

  Tagi z dyrektywą metarobots „noindex" zużywają crawl budget, więc kluczowe jest, by ich nie nadużywać.

• ›

  Nagłówek X-Robots jest umieszczany w nagłówku na poziomie kodu i może wskazywać Google kilka dyrektyw, w tym nieindeksowanie strony.

Konsultowane źródła:

• ›

  José Facchin: Czym jest crawl Budget, jak ważny jest dla Google i jak go poprawić?

• ›

  SEOCOM Agency: Czym jest Crawl Budget?

• ›

  Big SEO Agency: Czym jest Crawl Budget? Klucze do jego optymalizacji

• ›

  ContentKing: Crawl budget w SEO: przewodnik referencyjny

• ›

  Mi posicionamiento web: Czym jest Crawl Budget?

• ›

  Luis Villanueva: Czym jest Crawl Budget?

• ›

  Neil Patel: Jak wykorzystać Crawl Budget Google do poprawy SEO Twojej strony

• ›

  Search Engine Journal: 7 wskazówek do optymalizacji Crawl Budget pod SEO

• ›

  Webmasters Google Blog: Co Crawl Budget oznacza dla Googlebota?

• ›

  DeepCrawl: Czym jest crawl budget?