robots.txt: Pilnīga konfigurēšanas rokasgrāmata

Kas ir robots.txt un kam tas paredzēts?

robots.txt ir vienkārši fails, kas tiek mitināts jūsu vietnes saknes direktorijā un ļauj liegt noteiktiem robotiem (piemēram, Google vai Bing) apmeklēt jūsu vietni vai tās daļas.

UZMANĪBU: ir svarīgi zināt, ka tas ir protokols, un parasti visi „labie“ roboti to ievēro (GoogleBot, BingBot, Semrush, ...), taču jebkurš robots ar ļauniem nolūkiem to var apiet, piemēram, Screaming Frog, atzīmējot šo opciju:

Kāpēc fails robots.txt ir svarīgs SEO?

Kā jau iepriekš minējām, visi labie roboti (piemēram, GoogleBot) ievēro šo protokolu, tāpēc mēs varam izmantot šo failu, lai vadītu Google pa mūsu vietni. Lapas, kuras šeit aizliedzat, Google Search Console parādās kā „Bloķēts ar robots.txt“.

Ko? Ko jūs ar to domājat? Vadīt Google ar robots.txt?

Jā, neuztraucieties – paskaidrosim to ar piemēru, lai viss kļūtu daudz skaidrāks:

Iedomājieties, ka jūsu vietnē ir privāta zona, kurai var piekļūt tikai reģistrēti lietotāji, un, kā mēs labi zinām, Google nevar piekļūt nevienai vietnei, kurai nepieciešama pieteikšanās (pagaidām...).

Tātad, vai gan nebūtu jēga, lai Google netērētu mūsu pārmeklēšanas budžetu (crawl budget), pārmeklējot lapas, kurām tam nav nekādas vērtības?

Tieši tā! Viens no svarīgākajiem robots.txt pielietojumiem ir bloķēt ceļus, kuriem Google ir maza vērtība, un tādā veidā likt tam koncentrēties uz mūsu vietnes svarīgajām lapām. Šī iemesla dēļ robots.txt vajadzētu būt vienam no stūrakmeņiem, kas jāpatur prātā mūsu SEO stratēģijā.

Šis ir tikai viens piemērs no tūkstošiem lietu, ko varam paveikt ar šo failu. Citi piemēri ir mūsu vietnes kartes (sitemap) norādīšana, pārmeklēšanas intervāla samazināšana, resursu pārmeklēšanas bloķēšana, ...

Kā izveidot robots.txt failu

Nu... ķersimies pie darba!

Izveidot šo failu ir patiešām vienkārši – jums vienkārši jāpaņem savs teksta redaktors (Notepad operētājsistēmā Windows vai TextEdit operētājsistēmā Mac) vai jāizmanto tiešsaistes redaktors un, sagatavojot savu robots.txt, jāeksportē tas kā txt fails.

Kad tas mums ir, atliek tikai nosaukt to par „robots.txt“ un augšupielādēt to savas vietnes saknes direktorijā, izmantojot servera paneli vai FTP.

Lai pārbaudītu, vai tas ir augšupielādēts pareizi, jums vienkārši jāpievieno „/robots.txt“ savam domēnam, piemēram https://seocrawl.com/robots.txt

UZMANĪBU: uzmanieties ar kešatmiņu – labāk to apskatīt inkognito režīmā ;)

Bet ja man ir WordPress?

Ja jums ir WordPress, tas ir vienkāršāk, jo labākie SEO spraudņi, piemēram, Rank Math vai Yoast, tiek piegādāti ar iebūvētu papildinājumu, kas ļauj rediģēt robots.txt tieši.

Rank Math gadījumā jūs to atradīsiet: Rank Math > General Settings > Edit robots.txt

Yoast gadījumā mums būs jādodas uz: SEO > Tools > File Editor

Šādā veidā jūs varat viegli rediģēt vai izveidot failu, neveicot nevienu no iepriekš aprakstītajiem soļiem.

Komandas

Tālāk apskatīsim daudzas mums pieejamās komandas kopā ar to atbilstošajiem piemēriem:

Bloķēt visas vietnes pārmeklēšanu

User-agent: * Disallow: /

PIEZĪME: ja jūs izstrādājat savu vietni un nevēlaties, lai neviens robots iekļūtu tajā, lasītu un indeksētu jūsu saturu, šis noteikums lieliski darbojas.

Bloķēt lapas pārmeklēšanu

User-agent: * Disallow: /lapas-kuru-nevelos-parmeklet-url

Bloķēt mapes pārmeklēšanu

User-agent: * Disallow: /mape/

Atļaut piekļuvi lapai

User-agent: * Allow: /lapa

Bloķēt mapi un atļaut lapu šajā mapē

User-agent: * Disallow: /mape/ Allow: /mape/lapa

Norādīt vietnes karti (sitemap)

Sitemap: https://domain.com/sitemap.xml

Dot norādījumus konkrētiem robotiem

Šajā gadījumā pakavēsimies nedaudz ilgāk. Ja pamanījāt, lielākā daļa iepriekšējo direktīvu sākās ar:

User-agent: *

Tas „*“ attiecas uz visiem robotiem. Tas ir, visas direktīvas pēc šīs rindas attiecas uz visiem robotiem. Ja mēs vēlamies nosūtīt konkrētus norādījumus noteiktiem robotiem, mums tas būs jāmaina šādi:

User-agent: Googlebot Ja vēlamies atsaukties uz Google robotu

User-agent: Bingbot Ja vēlamies atsaukties uz Bing robotu

User-agent: DuckDuckBot Ja vēlamies atsaukties uz DuckDuckGo robotu

Viss, kas jums jādara, ir jānoskaidro, kā sauc robotu, kuram vēlaties dot norādījumu, un jānosauc tas tā, kā tikko parādījām.

Pārskatiet un pārbaudiet robots.txt failu

Tagad, kad esat pabeiguši „noskaņot“ savu robots, lai padarītu to pilnībā optimizētu un pielāgotu savai vietnei, atliek vien to pārbaudīt.

Pārbaudīt? Kāpēc?

Nu, pārbaudīt, lai pārliecinātos, ka neesam nekur kļūdījušies un ka tas patiešām darbojas un bloķē tās vietnes daļas, kuras vēlamies bloķēt.

Tam iesakām izmantot šo rīku.

Kad esat iekšā, jums vienkārši jādara:

• ›

  Jāievada URL, kuram vēlaties pārbaudīt, vai pārmeklēšana ir atļauta

• ›

  Jāizvēlas User Agent

• ›

  Jānospiež TEST

Uzreiz pēc tam tiks ielādēts viss mūsu robots.txt fails, un zem tā tiks norādīts, vai piekļuve ir atļauta vai nē.

Šajā gadījumā, kā redzam, tas sniedz pozitīvu rezultātu, taču, ja mēs ievadītu URL, kas nav atļauts, tas arī izceltu rindu, kas to bloķē:

Turklāt šis rīks ļauj mums rediģēt robots.txt failu tieši no turienes, lai veiktu jebkurus nepieciešamos labojumus, lai rezultāts atbilstu mūsu mērķim. Kad tas ir mainīts un pārbaudīts, atliek tikai piemērot šos jaunos labojumus savam robots.

Papildu padoms: padariet savu robots.txt neaizmirstamu

Mēs jums parādījām daudz koda rindu, kas darbojas robotiem, taču jūs varat ievietot arī komentārus, sākot rindu ar „#“. Tas ir, viss, kas sākas ar „#“, robotiem tiks ignorēts. Tas paver veselu iespēju un iekšēju joku pasauli. Šī iemesla dēļ mudinām jūs aplūkot windupschool, pccomponentes vai Minube robots.txt – jūs noteikti sastapsiet kaut ko pārsteidzošu ?

Secinājums

Kā redzējāt, failam robots.txt ir daudz ko piedāvāt, un tas arī prasa lielu uzmanību, jo nepareizi ievietota direktīva var bloķēt jūsu vietnes pārmeklēšanu.

Ceram, ka šī rokasgrāmata jums noderēs, un, ja rodas jautājumi, tiekamies komentāros.