Skenavimo proceso etapai ir elementai

Ką reiškia skenuoti svetainę?

Prieš eidami toliau, apibrėžkime svetainės skenavimo procesą ir parodykime, kokią svarbą jis turi kiekvienam bandymui pasirodyti Google paieškos rezultatuose.

Svetainės skenavimas suprantamas kaip procesas, kurio metu vorai arba naršyklės (crawlers) keliauja po skirtingus svetainės puslapius ir renka visą prieinamą informaciją, kad ją išsaugotų, apdorotų ir vėliau klasifikuotų.

Verta išryškinti kelis esminius terminus ką tik pateiktame apibrėžime:

• ›

  Kelionė: Įsivaizduokite tikrą vorą. Šis draugiškas vabzdys turi pereiti kuo daugiau puslapių, kad ištrauktų kuo daugiau informacijos. Kad pereitų iš vieno puslapio į kitą, jis tai daro per vidines nuorodas, kurios juos jungia. Iš čia ir kyla teisingo vidinio susiejimo svarba, leidžianti šiems vorams „atrasti“ – jei ne visus – tai bent svarbiausius mums puslapius.

• ›

  Prieinamumas: Informacija turi būti prieinama šiems vorams. Tai yra, jei kokiu nors būdu ribojame jų prieigą tyčia ar per klaidą, neleisime vorams apdoroti viso turinio, o todėl ir jo suprasti bei galiausiai klasifikuoti.

Toks puslapio turinio blokavimas ar ribojimas gali įvykti keliais skirtingais būdais, kuriuos pabandysime paaiškinti toliau šiame įraše.

Naršyklės (crawlers)

Kalbėjome apie vorus, dar vadinamus naršyklėmis (crawlers) arba robotais (bots). Galime juos apibrėžti kaip programas, kurios analizuoja mūsų svetainės dokumentus, tai yra jie tarsi „bibliotekininkai“, kurie ieško, klasifikuoja ir tvarko. Todėl jų pagrindinė funkcija yra kurti duomenų bazes. Yra keli tipai, priklausomai nuo to, kokios rūšies informaciją jie renka. Paminėkime kelis dažniausiai pasitaikančius.

Googlebot: Voras, atsakingas už mūsų turinio skenavimą ir jo suskirstymą organiniuose rezultatuose (SERP). SEO specialistams tai svarbiausias voras. Galite tiksliai stebėti, kaip jis skenuoja jūsų svetainę, Google Search Console skenavimo statistikos (Crawl stats) ataskaitoje.

Šio tipo viduje galime išskirti kelis potipius:

• ›

  Googlebot (išmanieji telefonai): Mobilioji versija

• ›

  Googlebot (kompiuterio versija): Kompiuterio versija

• ›

  Googlebot Images: Atsakingas už vaizdų skenavimą

• ›

  Googlebot News: Naujienoms

• ›

  Googlebot Video: Dabar ateina eilė vaizdo įrašams

Mūsų žurnaluose (logs) identifikuoto roboto pavyzdys:

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z‡ Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Jie ne vieninteliai – yra ir kitų, tokių kaip Adsbot, Adsense ir kt. Jau paminėjus SEO sektoriui aktualius, jų atskyrimas nuo likusiųjų nėra šio straipsnio tikslas, tačiau papildomos informacijos rasite šioje oficialioje Google nuorodoje.

Google skenavimo ir indeksavimo proceso etapai

Dabar, kai žinome, kas yra skenavimas, kas atsakingas už šią funkciją, ir aptarėme patį procesą, panagrinėkime jį konkrečiau.

Pirmasis etapas: skenavimas ir klasifikavimas

Procesas, kurio metu mūsų puslapiai pasirodo Google rezultatuose, pereina pirmąjį skenavimo etapą, kaip matėme, atliekamą vorų (crawlers), kad šie skaitytų, interpretuotų, indeksuotų ir klasifikuotų mūsų turinį.

Būtent šį naują žodį norime išsamiai išnagrinėti – klasifikuoti. Google turi puikiai suprasti mūsų turinį, paprastai ir greitai, nes, kaip pamatysime vėliau, Google mūsų svetainei skiria tam tikrą kiekį laiko, ir per tą laiką jis turi „suprasti“ mūsų turinį bei susieti jį su skirtingais naudotojų paieškos ketinimais.

Būtent todėl šiuolaikiniame SEO taip dažnai girdimas žodis „paieškos ketinimas“ (Search Intent), nes Google atsižvelgs į jį atlikdamas klasifikaciją ir tai nulems poziciją, kurią mūsų puslapiai užims SERP reitinguose.

Štai kodėl skenavimo procesas turi būti švarus, paprastas, greitas, be kliūčių ir pan., kad viskas būtų aišku ir mus klasifikuotų teisingai.

Antrasis etapas: indeksavimas

Negalime pamiršti indeksavimo etapo, kuris eina prieš klasifikavimą ir taip pat atlieka esminį vaidmenį, nes tai bus žingsnis, kuriuo Google įtraukia mūsų turinį į savo duomenų bazę, tai yra jį indeksuoja.

Google robotų blokavimas

Anksčiau minėjome, kad yra būdų, kuriais galėtume riboti šių vorų prieigą prie mūsų turinio. Tam yra gyvybiškai svarbus SEO elementas, žinomas kaip robots.txt.

Failas robots.txt yra tekstinis failas, kurį įkeliame į savo serverį ir kuriame pateikiame tikslius nurodymus skirtingiems vorams, leidžiančius arba draudžiančius jiems skenuoti mūsų svetainės URL adresus. Šis blokavimas gali būti taikomas:

• ›

  visam domenui

• ›

  konkrečiam keliui

• ›

  konkrečiam URL adresui

• ›

  arba URL adresų rinkiniui, atitinkančiam tam tikrą šabloną.

Pažiūrėkime šio failo konfigūracijos pavyzdį:

User-agent: *

Disallow: /wp-admin/

Allow: wp-admin/admin-ajax.php

Sitemap: /sitemap.xml

Kaip matome, jame yra pirmoji eilutė, kurioje nurodome user-agent (naršyklės, kurią norime blokuoti ar leisti, pavadinimą iš tų, kuriuos matėme anksčiau), po jos eina „disallow“ nurodymai, draudžiantys įėjimą, arba „allow“ – jį leidžiantys.

Konkrečiu atveju, kurį matome, nurodydami * sakome „visos naršyklės“ be išimties. Draudžiame joms įeiti į /wp-admin/ kelią, tačiau to kelio viduje norime leisti joms įeiti į /admin-ajax.php.

Neteisinga šio failo konfigūracija gali lemti, kad blokuosime svarbias savo turinio dalis. Dažna klaida yra blokuoti visą svetainę, kol ji kuriama, o paskui pamiršti pašalinti tą blokavimą įdiegus svetainę į gamybinę aplinką, dėl ko ji tampa neprieinama Google.

Kita problema, su kuria Google vorai gali susidurti skenuodami mūsų turinį, yra negalėjimas sekti vidinių nuorodų, kurias turime savo svetainėje, o todėl ir neprieiga prie likusių URL adresų. Tai nutinka, kai tose nuorodose naudojame javascript elementus vietoje „href“. Ši praktika labai paplitusi, nes JS naudojimas turi daug privalumų naudotojo lygmeniu, tačiau naudojamas netinkamai ir pridėtas prie vidinių nuorodų, gali lemti, kad Google negalės jų sekti.

SEO pasaulyje tai vadinama „nuorodų užtemdymu (link obfuscation)“. Iki šiol tebevyksta atviros diskusijos, ar Google geba teisingai skenuoti ir atvaizduoti (render) JS sukurtus puslapius.

Serverio atsako kodai

Kad ir toliau gerai suprastume šį procesą, negalime nepaisyti sąvokos, su kuria SEO specialistai susiduria kasdien – serverio atsako kodų.

Anksčiau matėme ciklą, kuriuo Google mus randa, bet kaip tai vyksta? Naudotojas atlieka paiešką (užklausą) Google. Paieškos variklis kreipiasi į savo duomenų bazę ir parodo tinkamiausius rezultatus (SERP), pagal atliktą klasifikaciją, tai paieškai.

Kai naudotojas mato skirtingus rezultatus (parodymus), jis spustelėja vieną iš jų – tą, kuris, jo nuomone, geriausiai atitinka jo poreikį. Tuo momentu įsijungia Google užklausa serveriui, kuriame priglobta svetainė, kad šis „patiektų“ turinį.

Kai tai įvyksta, serverio atsakas pateikiamas atitinkamu kodu. Įvardykime aktualiausius, į kuriuos kaip SEO specialistai turime atsižvelgti:

• ›

  200: Šis atsako kodas yra tas, kuris Google praneša, kad puslapis egzistuoja, turi turinį ir nėra jokių problemų jį rodyti. SEO specialistams jis labiausiai pageidaujamas, jei tik to puslapio su 200 kodu turinys yra optimalus.

• ›

  30x: 30x būsenos kodų šeima atitinka peradresavimus. Ryškiausi yra 301 (nuolatinis), 302 ir 307 (laikini). Iš esmės jie Google praneša „ei, šis URL A, kurio prašei, jau nebe tas, tai šis kitas URL B“. Yra ir daugiau, bet jie nėra plėtojamos sąvokos objektas. Svarbu žinoti, kad SEO specialistams labiausiai pageidaujami yra 301, kurie perduoda visą autoritetą.

Rekomenduojamas skaitinys: 301 peradresavimų pamoka

• ›

  40X: Klaidų kodai. Mažiausiai pageidaujami SEO specialistų. Dažniausias yra garsioji 404. Kai pasirodo šis kodas, atsakydami į Google užklausą dėl URL adreso pranešame, kad jo nebėra ir todėl tai klaida.

• ›

  410: Šį norėjome išskirti iš 40x šeimos dėl jo SEO vertės. Naudodami šį kodą, atsakydami į Google serverio užklausą dėl URL adreso, pranešame, kad jis „dingo visam laikui“. Tai įdomu, nes, skirtingai nei 404 atveju, Google supranta, kad jo daugiau niekada nebus, ir nustos bandyti jį skenuoti, tuo tarpu su 404 jis skenuos jį iš naujo, manydamas, kad galbūt norėsime jį ištaisyti.

• ›

  50x: Šio tipo atsakas susijęs su serverio klaidomis. Kai mūsų mašina dėl kokios nors priežasties sutrinka ir Google bando iš mūsų užklausti kokio nors URL adreso turinio, jei serveris sutrinka, jis grąžina 505 būsenos kodą.

Skenavimo biudžetas (Crawl Budget)

Šioje įrašo vietoje mums dar reikia aptarti terminą, kuris SEO pasaulyje išpopuliarėjo prieš porą metų ir yra žinomas kaip skenavimo biudžetas (crawl budget).

Skenavimo biudžetas reiškia laiką, kurį Google vorai praleidžia skenuodami svetainę ir visus jos URL adresus. Tai, kaip sakėme anksčiau, ribotas laikas. Iš čia ir kyla svarba turėti optimizuotą svetainę, kad per tą laiką jam būtų lengviau pamatyti aktualiausius mūsų svetainės puslapius.

Šis laikas, kurį naršyklės praleidžia eidamos per mūsų svetainę, nėra fiksuota reikšmė, jis didės arba mažės priklausomai nuo tokių aspektų kaip dažnumas, kuriuo atnaujiname turinį, mūsų domeno autoritetas (populiarumas) ir pan.

Kuo aukštesnė mūsų svetainės kokybė, kuo didesnis autoritetas ir kuo daugiau šviežio turinio, tuo aktualesniais Google mus laikys ir skirs daugiau biudžeto mums skenuoti.

Su skenavimo programomis, tokiomis kaip Screaming Frog, atliekame idealiai imituotus savo svetainės skenavimus, tai yra taip, tarsi vorai turėtų visą laiką pasaulyje pereiti per kiekvieną mūsų URL adresą.

Tačiau taip tai neveikia, kai kalbame apie Googlebot – veikiau, kiekvieną kartą, kai Google aplanko mūsų svetainę, jis kai kuriuos URL adresus aplankys dažniau nei kitus. Iš tikrųjų kai kurių jis gali net neaplankyti. Tai analizuosime pasitelkdami tai, kas žinoma kaip serverio žurnalai (server logs) (įrašai apie tai, kuriuos URL adresus Google skenavo, kaip dažnai jis tai darė ir kiek kartų per tam tikrą laikotarpį).

Iki čia visa analizė, susijusi su tuo, kaip suprasti, kas yra skenavimas, ir su skirtingais elementais, sudarančiais Google skenavimo sistemos dalį.

Turite klausimų ar pasiūlymų? Kaip visada… mielai jūsų išklausysime!