Roomamisprotsessi etapid ja elemendid

Mida tähendab veebisaidi roomamine?

Enne edasiminekut määratleme veebisaidi roomamise protsessi ja näitame, kui suur tähtsus sellel on igas katses ilmuda Google'i otsingutulemustesse.

Veebisaidi roomamist mõistetakse kui protsessi, mille käigus ämblikud ehk roomajad (crawlers) liiguvad läbi veebisaidi erinevate lehtede ja koguvad kõik ligipääsetava teabe, et see salvestada, töödelda ja hiljem liigitada.

Tasub esile tõsta mõned põhilised terminid äsja esitatud määratluses:

• ›

  Teekond: Kujutlege tõepoolest ämblikku. See sõbralik putukas peab läbima võimalikult palju lehti, et koguda võimalikult palju teavet. Ühelt lehelt teisele liikumiseks teeb ta seda siselinkide kaudu, mis neid ühendavad. Siit tulenebki õige siselinkimise tähtsus, mis võimaldab neil ämblikel “avastada” — kui mitte kõiki — siis vähemalt meie jaoks kõige olulisemad lehed.

• ›

  Ligipääsetavus: Teave peab olema neile ämblikele ligipääsetav. See tähendab, et kui me kuidagi piirame nende juurdepääsu tahtlikult või eksikombel, takistame ämblikke kogu sisu töötlemast ning seega ka seda mõistmast ja lõpuks liigitamast.

Selline lehe sisu blokeerimine või piiramine võib toimuda mitmel erineval viisil, mida püüame selles postituses edaspidi selgitada.

Roomajad (crawlers)

Rääkisime ämblikest, keda nimetatakse ka roomajateks (crawlers) või robotiteks (bots). Võime määratleda neid kui programme, mis analüüsivad meie veebisaidi dokumente, see tähendab, nad on nagu “raamatukoguhoidjad”, kes otsivad, liigitavad ja korrastavad. Seega on nende peamine ülesanne luua andmebaase. Neid on mitut liiki, olenevalt sellest, millist teavet nad koguvad. Nimetame mõned kõige levinumad.

Googlebot: Ämblik, kes vastutab meie sisu roomamise eest ja selle liigitamise eest orgaaniliste tulemuste (SERP) hulka. SEO-spetsialistide jaoks on see kõige olulisem. Saate täpselt jälgida, kuidas ta teie saiti roomab, Google Search Console'i roomamisstatistika (Crawl stats) aruandes.

Selle liigi sees saame eristada mõned alamtüübid:

• ›

  Googlebot (nutitelefonid): Mobiiliversioon

• ›

  Googlebot (lauaarvuti versioon): Lauaarvuti versioon

• ›

  Googlebot Images: Vastutab piltide roomamise eest

• ›

  Googlebot News: Uudiste jaoks

• ›

  Googlebot Video: Nüüd on kord videote käes

Näide meie logides tuvastatud robotist:

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z‡ Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Nad ei ole ainsad — on ka teisi, näiteks Adsbot, Adsense jne. Olles juba maininud SEO-sektori jaoks asjakohaseid, ei ole nende eristamine ülejäänutest selle artikli fookuses, kuid lisateavet leiate järgnevalt ametlikult Google'i lingilt.

Google'i roomamis- ja indekseerimisprotsessi etapid

Nüüd, kui teame, mis on roomamine, kes selle funktsiooni eest vastutab, ja oleme protsessi arutanud, vaatame seda konkreetsemalt.

Esimene etapp: roomamine ja liigitamine

Protsess, mille käigus meie lehed ilmuvad Google'i tulemustesse, läbib esimese roomamise etapi, nagu nägime, mille viivad läbi ämblikud (crawlers), et need loeksid, tõlgendaksid, indekseeriksid ja liigitaksid meie sisu.

Just seda uut sõna soovime üksikasjalikult analüüsida — liigitama. Google peab meie sisu suurepäraselt mõistma, lihtsalt ja kiiresti, sest, nagu hiljem näeme, Google kulutab meie veebisaidile kindla hulga aega, ja selle aja jooksul peab ta meie sisu “mõistma” ning seostama seda kasutajate erinevate otsingukavatsustega.

Just seetõttu kuuleb tänapäeva SEO-s nii sageli sõna “otsingukavatsus” (Search Intent), kuna Google võtab seda liigitamisel arvesse ja see määrab positsiooni, mille meie lehed SERP-i edetabelites hõivavad.

Seetõttu peab roomamisprotsess olema puhas, lihtne, kiire, takistusteta jne, et kõik oleks selge ja meid liigitataks õigesti.

Teine etapp: indekseerimine

Me ei tohi unustada indekseerimise etappi, mis eelneb liigitamisele ja mängib samuti olulist rolli, kuna see on samm, milles Google lisab meie sisu oma andmebaasi, see tähendab indekseerib selle.

Google'i robotite blokeerimine

Mainisime varem, et on viise, kuidas me võiksime piirata nende ämblike juurdepääsu meie sisule. Selle jaoks on SEO-s eluliselt tähtis element, mida tuntakse kui robots.txt.

Fail robots.txt on tekstifail, mille laadime oma serverisse üles ja milles anname täpsed juhised erinevatele ämblikele, et lubada või keelata neil roomata meie saidi URL-e. Seda blokeerimist saab rakendada:

• ›

  kogu domeenile

• ›

  kindlale teekonnale

• ›

  kindlale URL-ile

• ›

  või URL-ide kogumile, mis vastab kindlale mustrile.

Vaatame selle faili konfiguratsiooni näidet:

User-agent: *

Disallow: /wp-admin/

Allow: wp-admin/admin-ajax.php

Sitemap: /sitemap.xml

Nagu näeme, on selles esimene rida, kus määrame user-agenti (roomaja nime, keda soovime blokeerida või lubada, nendest, keda nägime varem), millele järgnevad “disallow” käsud, et sisenemine keelata, või “allow”, et seda lubada.

Konkreetsel juhul, mida näeme, öeldes * abil, ütleme “kõik roomajad” eranditult. Me keelame neil siseneda teekonda /wp-admin/, kuid selle teekonna sees soovime lubada neil siseneda /admin-ajax.php.

Selle faili vale konfiguratsioon võib põhjustada olulise osa meie sisu blokeerimise. Levinud viga on hoida kogu veebisait blokeerituna, kui seda arendatakse, ja seejärel unustada see blokeering pärast tootmiskeskkonda viimist eemaldada, muutes selle Google'ile ligipääsmatuks.

Teine probleem, millega Google'i ämblikud võivad meie sisu roomamisel kokku puutuda, on suutmatus järgida siselinke, mis meil oma veebisaidil on, ja seega ligipääsmatus ülejäänud URL-idele. See juhtub siis, kui kasutame nendes linkides javascript-elemente “href” asemel. See tava on väga levinud, kuna JS-i kasutamisel on kasutaja tasandil palju eeliseid, kuid kui seda kasutatakse valesti ja lisatakse siselinkidele, ei pruugi Google suuta neid järgida.

SEO-maailmas tuntakse seda kui “linkide varjamist (link obfuscation)”. Tänase seisuga on veel lahtine arutelu selle üle, kas Google suudab JS-is loodud lehti korrektselt roomata ja renderdada.

Serveri vastusekoodid

Et seda protsessi jätkuvalt hästi mõista, ei saa me jätta tähelepanuta mõistet, millega SEO-spetsialistid iga päev tegelema peavad — serveri vastusekoodid.

Varem nägime tsüklit, mille kaudu Google meid leiab, aga kuidas see toimub? Kasutaja teeb Google'is otsingu (päringu). Otsingumootor pöördub oma andmebaasi poole ja näitab kõige asjakohasemad tulemused (SERP), vastavalt tehtud liigitusele, selle otsingu jaoks.

Kui kasutaja näeb erinevaid tulemusi (näitamised), klõpsab ta ühel neist — sellel, mis tema hinnangul sobib kõige paremini sellega, mida ta vajab. Sel hetkel astub mängu Google'i päring serverile, kus veebisait on majutatud, et see “serveeriks” sisu.

Kui see toimub, esitatakse serveri vastus vastava koodi kaudu. Nimetame kõige asjakohasemad, mida me SEO-spetsialistidena arvesse võtma peame:

• ›

  200: See vastusekood on see, mis ütleb Google'ile, et leht eksisteerib, et sellel on sisu ja et selle näitamisega ei ole probleeme. See on SEO-spetsialistide poolt kõige ihaldatum, kui vaid selle koodiga 200 lehe sisu on optimaalne.

• ›

  30x: 30x staatusekoodide perekond vastab ümbersuunamistele. Silmapaistvaimad on 301 (püsiv), 302 ja 307 (ajutised). Põhimõtteliselt ütlevad need Google'ile “hei, see URL A, mida sa küsisid, ei ole enam see, see on hoopis see teine URL B”. Neid on rohkem, kuid need ei ole arendatava mõiste fookuses. Oluline on teada, et SEO-spetsialistidena on eelistatuimad 301-d, mis kannavad üle kogu autoriteedi.

Soovituslik lugemine: 301 ümbersuunamiste õpetus

• ›

  40X: Veakoodid. SEO-spetsialistide poolt kõige vähem ihaldatud. Kõige levinum on kuulus 404. Kui see kood ilmub, ütleme Google'ile vastuseks tema päringule URL-i kohta, et seda enam ei ole ja seega on tegemist veaga.

• ›

  410: Selle soovisime 40x perekonnast esile tõsta selle SEO-väärtuse tõttu. Kui kasutame seda koodi, vastuseks Google'i serveri päringule URL-i kohta, ütleme talle, et see on “jäädavalt kadunud”. See on huvitav, sest erinevalt 404-st mõistab Google, et seda ei ole seal enam kunagi, ja lõpetab selle roomamise katsetamise, samas kui 404 puhul roomab ta seda uuesti, arvates, et me võib-olla soovime selle parandada.

• ›

  50x: Seda tüüpi vastus on seotud serverivigadega. Kui meie masin mingil põhjusel tõrgub ja Google püüab meilt mõne URL-i sisu pärida, siis kui server tõrgub, tagastab see 505 staatusekoodi.

Roomamiseelarve (Crawl Budget)

Selles postituse punktis peame veel käsitlema terminit, mis paar aastat tagasi SEO-maailmas populaarseks sai ja mida tuntakse kui roomamiseelarvet (crawl budget).

Roomamiseelarve viitab ajale, mille Google'i ämblikud kulutavad veebisaidi ja kõigi selle URL-ide roomamisele. See on, nagu me varem ütlesime, piiratud aeg. Siit tulenebki tähtsus, et meie veebisait oleks optimeeritud, et tal oleks selle aja jooksul lihtsam näha meie saidi kõige asjakohasemaid lehti.

See aeg, mille roomajad kulutavad meie veebisaidi läbimisele, ei ole fikseeritud väärtus, see kasvab või kahaneb olenevalt sellistest aspektidest nagu sagedus, millega me sisu uuendame, meie domeeni autoriteet (populaarsus) jne.

Mida kõrgem on meie veebisaidi kvaliteet, mida suurem autoriteet ja mida rohkem värsket sisu, seda asjakohasemaks Google meid peab ja eraldab rohkem eelarvet meie roomamisele.

Roomamisprogrammidega, nagu Screaming Frog, teostame oma veebisaidi ideaalselt simuleeritud roomamisi, see tähendab, nagu oleks ämblikel kogu maailma aeg, et läbida iga meie URL.

Kuid nii see ei toimi, kui räägime Googlebotist — pigem külastab Google iga kord, kui ta meie veebisaiti külastab, mõnda URL-i sagedamini kui teisi. Tegelikult võib olla mõni, mida ta üldse ei külasta. Analüüsime seda selle abil, mida tuntakse kui serveri logisid (server logs) (kirjed selle kohta, milliseid URL-e Google on roomanud, kui sageli ta seda teinud on ja mitu korda kindla perioodi jooksul).

Siiani kogu analüüs selle kohta, kuidas mõista, mis on roomamine, ja erinevate elementide kohta, mis moodustavad osa Google'i roomamissüsteemist.

Kas on küsimusi või ettepanekuid? Nagu alati… kuulame teid hea meelega!