Fazele și elementele procesului de crawling

Ce înseamnă a crawla un site web?

Înainte de a merge mai departe, hai să definim procesul de crawling al unui site web, arătând importanța pe care o deține în cadrul oricărei încercări de a apărea în rezultatele căutării Google.

Crawling-ul unui site web este înțeles ca procesul prin care păianjenii sau crawlerele parcurg diferitele pagini ale unui site web, adunând toate informațiile accesibile, pentru a le stoca, procesa și ulterior clasifica.

Merită evidențiați câțiva termeni fundamentali din cadrul definiției pe care tocmai am formulat-o:

• ›

  Parcurgere: Gândește-te chiar la un păianjen. Această insectă prietenoasă trebuie să treacă prin cât mai multe pagini posibil pentru a extrage cât mai multă informație poate. Pentru a merge de la o pagină la alta, o face prin intermediul linkurilor interne care le conectează. De aici importanța de a avea un internal linking corect care să permită acestor păianjeni să „descopere” — dacă nu integralitatea — cel puțin cele mai relevante pagini pentru noi.

• ›

  Accesibilitate: Informația trebuie să fie accesibilă pentru acești păianjeni. Adică, dacă într-un fel sau altul le limităm accesul intenționat sau din greșeală, vom împiedica păianjenii să poată procesa tot conținutul și, prin urmare, să îl înțeleagă și, în cele din urmă, să îl clasifice.

Această blocare sau limitare a conținutului paginilor poate apărea în mai multe moduri diferite, pe care vom încerca să le explicăm mai departe în acest articol.

Crawlerele

Am vorbit despre păianjeni, cunoscuți și sub numele de crawlere sau boți. Îi putem defini ca programe care analizează documentele de pe site-ul nostru, adică sunt ca niște „bibliotecari” care caută, clasifică și organizează. Funcția lor principală este, prin urmare, aceea de a construi baze de date. Există mai multe tipuri, în funcție de tipul de informație pe care o colectează. Hai să menționăm câteva dintre cele mai comune.

Googlebot: Păianjenul însărcinat cu crawlarea conținutului nostru și categorisirea acestuia în cadrul rezultatelor organice (SERP-uri). Pentru specialiștii SEO, este cel mai important. Poți monitoriza exact cum îți crawlează site-ul în raportul Statistici de crawling din Google Search Console.

În cadrul acestui tip putem distinge câteva subtipuri:

• ›

  Googlebot (smartphone-uri): Versiunea mobilă

• ›

  Googlebot (versiunea desktop): Versiunea desktop

• ›

  Googlebot Images: Însărcinat cu crawlarea imaginilor

• ›

  Googlebot News: Pentru știri

• ›

  Googlebot Video: Acum este rândul videoclipurilor

Exemplu de bot identificat în logurile noastre:

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z‡ Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Nu sunt singurii — există și alții precum Adsbot, Adsense etc. După ce am menționat pe cei relevanți pentru sectorul SEO, diferențierea lor de rest nu este scopul acestui articol, dar poți găsi informații suplimentare la următorul link oficial Google.

Fazele procesului de crawling și indexare al Google

Acum că știm ce este crawling-ul, cine este însărcinat cu această funcție și am discutat despre proces, hai să îl privim în detaliu mai specific.

Prima fază: crawling și clasificare

Procesul prin care paginile noastre apar în rezultatele Google trece printr-o primă fază de crawling, așa cum am văzut, realizată de păianjeni (crawlere), astfel încât aceștia să citească, interpreteze, indexeze și clasifice conținutul nostru.

Acest cuvânt nou dorim să îl analizăm în detaliu, clasifice. Google trebuie să înțeleagă perfect conținutul nostru, simplu și rapid, pentru că, așa cum vom vedea mai târziu, Google petrece o cantitate specifică de timp pe site-ul nostru, iar în acel timp trebuie să „înțeleagă” conținutul nostru și să îl asocieze cu diferitele intenții de căutare ale utilizatorilor.

De aceea în SEO modern se aude atât de des cuvântul „Search Intent” (intenția de căutare), întrucât Google o va lua în considerare în acea clasificare, iar ea va defini poziția pe care o ocupă paginile noastre în clasamentele SERP.

De aceea procesul de crawling trebuie să fie curat, simplu, rapid, fără obstacole etc., astfel încât totul să fie clar și să fim clasificați corect.

Faza a doua: Indexarea

Nu putem uita de faza de indexare, care precedă clasificarea și joacă de asemenea un rol fundamental, întrucât va fi pasul în care Google adaugă conținutul nostru în baza sa de date, adică îl indexează.

Blocarea roboților Google

Am menționat mai devreme că există moduri în care am putea limita accesul acestor păianjeni la conținutul nostru. Pentru asta, există un element de o greutate vitală în SEO, cunoscut sub numele de robots.txt.

Fișierul robots.txt este un fișier text pe care îl încărcăm pe serverul nostru, în care dăm instrucțiuni precise diferiților păianjeni pentru a le permite sau a le bloca crawlarea URL-urilor de pe site-ul nostru. Această blocare poate fi aplicată:

• ›

  întregului domeniu

• ›

  unei căi specifice

• ›

  unui URL specific

• ›

  sau unui set de URL-uri care corespund unui anumit tipar.

Hai să vedem un exemplu de configurare a acestui fișier:

User-agent: *

Disallow: /wp-admin/

Allow: wp-admin/admin-ajax.php

Sitemap: /sitemap.xml

Așa cum putem vedea, are o primă linie unde specificăm user-agent-ul (numele crawlerului pe care dorim să îl blocăm sau să îl permitem, dintre cei pe care i-am văzut mai devreme), urmată de ordinele „disallow” pentru a interzice accesul sau „allow” pentru a-l permite.

În cazul specific pe care îl vedem, indicând cu un * spunem „toate crawlerele”, fără excepție. Le interzicem să intre în calea /wp-admin/, dar în cadrul acelei căi dorim să le permitem să intre în /admin-ajax.php.

O configurare incorectă a acestui fișier poate face să blocăm părți importante ale conținutului nostru. Este o greșeală comună să ai întregul site blocat în timp ce este dezvoltat, iar apoi să uiți să elimini acel blocaj după punerea în producție, făcându-l inaccesibil pentru Google.

O altă problemă pe care păianjenii Google ar putea-o întâlni la crawlarea conținutului nostru este imposibilitatea de a urma linkurile interne pe care le avem pe site-ul nostru și, prin urmare, de a nu accesa restul URL-urilor. Asta se întâmplă când folosim elemente javascript în locul „href” în acele linkuri. Această practică este foarte comună, întrucât utilizarea JS are multe avantaje la nivel de utilizator, dar dacă nu este folosită corect și adăugată la linkurile interne, Google poate să nu le poată urma.

În lumea SEO acest lucru este cunoscut sub numele de „link obfuscation”. La data de astăzi, este o dezbatere deschisă dacă Google este capabil să crawleze și să randeze corect paginile realizate în JS.

Codurile de răspuns ale serverului

Pentru a continua să înțelegem bine acest proces, nu putem trece cu vederea un concept cu care specialiștii SEO trebuie să se confrunte zilnic, codurile de răspuns ale serverului.

Înainte, am văzut ciclul prin care Google ne găsește, dar cum se întâmplă asta? Un utilizator realizează o căutare (un query) pe Google. Motorul de căutare merge în baza sa de date și afișează cele mai relevante rezultate (SERP-uri), conform clasificării făcute, pentru acea căutare.

Odată ce utilizatorul vede diferitele rezultate (impresii), dă clic pe unul dintre ele, cel care, în opinia sa, se potrivește cel mai bine cu ceea ce are nevoie. În acel moment intră în joc cererea Google către serverul pe care este găzduit site-ul, pentru ca acesta să „servească” conținutul.

Când asta se produce, răspunsul serverului este generat prin codul corespunzător. Hai să numim pe cele mai relevante pe care, în calitate de specialiști SEO, trebuie să le luăm în considerare:

• ›

  200: Acest cod de răspuns este cel care îi spune Google că pagina există, că are conținut și că nu există nicio problemă în a o afișa. Este cel mai dorit de specialiștii SEO, atât timp cât conținutul acelei pagini cu cod 200 este optim.

• ›

  30x: Familia codurilor de status 30x corespunde redirecționărilor. Cele mai notabile sunt 301 (permanentă), 302 și 307 (temporare). Practic, îi spun Google „hei, acest URL A pe care l-ai cerut nu mai este acesta, este acest alt URL B”. Există mai multe, dar nu sunt scopul conceptului pe care îl dezvoltăm. Este important de știut că, în calitate de specialiști SEO, cele preferate sunt cele 301, care transferă toată autoritatea.

Lectură recomandată: Tutorial despre redirecționările 301

• ›

  40X: Coduri de eroare. Cele mai puțin dorite de specialiștii SEO. Cel mai comun este faimosul 404. Când apare acest cod, îi spunem Google, ca răspuns la cererea sa pentru un URL, că acesta nu mai există și este, prin urmare, o eroare.

• ›

  410: Am dorit să îl scoatem în evidență pe acesta din familia 40x pentru valoarea sa SEO. Când folosim acest cod, ca răspuns la o cerere de la serverul Google pentru un URL, îi spunem că acesta este „dispărut definitiv”. Este interesant pentru că, spre deosebire de 404, Google înțelege că nu va mai fi niciodată acolo și va înceta să încerce să îl crawleze, în timp ce cu 404 îl va crawla din nou gândind că poate dorim să îl reparăm.

• ›

  50x: Acest tip de răspuns este legat de erorile de server. Când mașina noastră eșuează dintr-un motiv oarecare și Google încearcă să ne ceară conținutul unui URL, dacă serverul eșuează, returnează un cod de status 505.

Crawl Budget

În acest punct al articolului, mai trebuie să abordăm un termen care a devenit popular acum câțiva ani în lumea SEO, cunoscut sub numele de crawl budget.

Crawl budget-ul se referă la timpul pe care păianjenii Google îl petrec crawlând un site web și toate URL-urile sale. Este, așa cum am spus mai devreme, un timp finit. De aici importanța de a avea site-ul nostru optimizat, pentru a-i facilita să vadă cele mai relevante pagini ale site-ului nostru în acel timp.

Acest timp pe care crawlerele îl petrec parcurgând site-ul nostru nu este o valoare fixă, va crește sau va scădea în funcție de aspecte precum frecvența cu care actualizăm conținutul, autoritatea domeniului nostru (popularitatea) etc.

Cu cât mai mare este calitatea site-ului nostru, cu atât mai mare este autoritatea și cu cât mai mult conținut proaspăt, cu atât mai relevanți ne va considera Google și cu atât mai mult buget va aloca pentru a ne crawla.

Cu programe de crawling precum Screaming Frog, realizăm crawlări simulate în mod ideal ale site-ului nostru, adică ca și cum păianjenii ar avea tot timpul din lume să parcurgă fiecare dintre URL-urile noastre.

Dar nu așa funcționează când vorbim despre Googlebot — mai degrabă, de fiecare dată când Google vizitează site-ul nostru, va vizita unele URL-uri mai mult decât altele. De fapt, pot exista unele pe care nici măcar nu le vizitează. Vom analiza asta cu ceea ce sunt cunoscute drept logurile serverului (înregistrări ale URL-urilor pe care Google le-a crawlat, cât de des a făcut-o și de câte ori într-o anumită perioadă).

Până aici, toată analiza privind înțelegerea a ce este crawling-ul și a diferitelor elemente care fac parte din sistemul de crawling al Google.

Ai întrebări sau sugestii? Ca întotdeauna... ne-ar plăcea să auzim de la tine!