robots.txt: Ghid complet de configurare
Sătul să tot auzi despre robots.txt fără să știi despre ce vorbește lumea? Nu-ți face griji, astăzi îți aducem soluția la problema ta. În această postare ne vom strădui să îți explicăm ce este robots.txt, cum să îl configurezi (în special în WordPress) și ce impact poate avea asupra SEO-ului proiectului nostru.
Să trecem la treabă!
Ce este robots.txt și la ce folosește?
Robots.txt este pur și simplu un fișier găzduit în rădăcina site-ului tău care îți permite să împiedici anumiți boți (precum cei de la Google sau Bing) să îți viziteze site-ul web sau părți ale acestuia.
ATENȚIE: este important să știi că acesta este un protocol și ca regulă generală, toți boții „buni” îl respectă (GoogleBot, BingBot, Semrush, ...), dar orice bot cu intenții rele îl poate ignora, cum ar fi Screaming Frog, bifând această opțiune:
De ce este important fișierul robots.txt pentru SEO?
După cum am menționat anterior, toți boții buni (precum GoogleBot) respectă acest protocol, așa că ceea ce putem face este să folosim acest fișier pentru a ghida Google prin site-ul nostru web. Paginile pe care le interzici aici apar ca „Blocate de robots.txt” în Google Search Console.
Ce? Cum adică? Să ghidezi Google cu robots.txt?
Da, nu-ți face griji, îți vom explica printr-un exemplu, astfel încât să devină mult mai clar:
Imaginează-ți că pe site-ul tău web ai o zonă privată la care pot accesa doar utilizatorii înregistrați și, după cum bine știm, Google nu poate accesa niciun site care necesită autentificare (deocamdată...).
Așadar, nu ar avea sens ca Google să nu ne irosească bugetul de crawl parcurgând pagini care nu au nicio valoare pentru el?
Exact! Una dintre cele mai importante utilizări ale robots.txt este blocarea căilor care au puțină valoare pentru Google și, în acest fel, a-l face să se concentreze pe paginile importante ale site-ului nostru web. Din acest motiv, robots.txt ar trebui să fie unul dintre pilonii de avut în vedere în cadrul strategiei noastre SEO.
Acesta este doar un exemplu din miile de lucruri pe care le putem face cu acest fișier. Alte exemple includ indicarea sitemap-ului nostru, reducerea intervalului de crawl, blocarea parcurgerii resurselor, ...
Cum să creezi fișierul robots.txt
Ei bine... să ne apucăm de treabă!
Crearea acestui fișier este cu adevărat simplă, trebuie doar să îți iei editorul de text (Notepad pe Windows sau TextEdit pe Mac) sau să folosești unul online și după ce ți-ai redactat robots.txt, exportă-l ca fișier txt.
Odată ce îl avem, trebuie doar să îl denumim „robots.txt” și să îl încărcăm în rădăcina site-ului tău prin panoul serverului tău sau prin FTP.
Pentru a verifica dacă a fost încărcat corect, trebuie doar să adaugi „/robots.txt” la domeniul tău, de exemplu https://seocrawl.com/robots.txt
ATENȚIE: Ai grijă cu memoria cache, este mai bine să îl vizualizezi în modul incognito ;)
Ce fac dacă am WordPress?
Dacă ai WordPress este mai simplu, pentru că cele mai bune pluginuri SEO precum Rank Math sau Yoast vin cu un supliment încorporat pentru a edita robots.txt direct.
În cazul Rank Math îl vei găsi la Rank Math > General Settings > Edit robots.txt
În cazul Yoast va trebui să mergem la SEO > Tools > File Editor
În acest fel poți edita sau crea cu ușurință fișierul fără a fi nevoie să efectuezi vreunul dintre pașii explicați mai sus.
Comenzi
Mai jos vom arunca o privire asupra multora dintre comenzile pe care le avem la dispoziție, împreună cu exemplele lor corespunzătoare:
Blochează parcurgerea site-ului tău
User-agent: * Disallow: /
NOTĂ: Dacă îți dezvolți site-ul web și nu vrei ca niciun bot să intre, să citească și să îți indexeze conținutul, această regulă funcționează excelent.
Blochează parcurgerea unei pagini
User-agent: * Disallow: /url-a-paginii-pe-care-nu-o-vreau-parcursa
Blochează parcurgerea unui folder
User-agent: * Disallow: /folder/
Permite accesul la o pagină
User-agent: * Allow: /pagina
Blochează un folder și permite o pagină din acel folder
User-agent: * Disallow: /folder/ Allow: /folder/pagina
Indică sitemap-ul
Sitemap: https://domain.com/sitemap.xml
Dă ordine unor boți specifici
În acest caz vom insista un pic mai mult. Dacă ai observat, majoritatea directivelor anterioare începeau cu:
User-agent: *
Acel „*” se referă la toți boții. Adică, toate directivele de după acea linie se aplică tuturor boților. Dacă ceea ce vrem să facem este să trimitem ordine specifice către anumiți boți, va trebui să schimbăm asta după cum urmează:
User-agent: Googlebot Dacă vrem să ne referim la botul Google
User-agent: Bingbot Dacă vrem să ne referim la botul Bing
User-agent: DuckDuckBot Dacă vrem să ne referim la botul DuckDuckGo
Tot ce trebuie să faci este să afli cum se numește botul căruia vrei să îi trimiți un ordin și să îl denumești așa cum tocmai ți-am arătat.
Verifică și testează fișierul robots.txt
Acum că ai terminat de „reglat” robots-ul tău pentru a-l lăsa complet optimizat și personalizat pentru site-ul tău web, singurul lucru care a mai rămas este să îl testezi.
Să îl testezi? Pentru ce?
Ei bine, testează-l pentru a te asigura că nu am dat greș pe vreo linie și că funcționează cu adevărat pentru a bloca părțile site-ului pe care vrem să le blocăm.
Pentru asta recomandăm folosirea acestui instrument.
Odată intrat, trebuie doar să:
-
Introduci URL-ul pentru care vrei să verifici dacă parcurgerea este permisă
-
Alegi User Agent-ul
-
Dai clic pe TEST
Imediat după, se va încărca întregul nostru fișier robots.txt, iar dedesubt ne va spune dacă accesul este permis sau nu.
În acest caz, după cum putem vedea, ne dă un rezultat pozitiv, dar dacă am introduce un URL care nu este permis, ar evidenția și linia care îl blochează:
În plus, acest instrument ne permite să ne edităm fișierul robots.txt direct de acolo pentru a face orice modificări avem nevoie, astfel încât rezultatul să se potrivească cu obiectivul nostru. Odată modificat și testat, trebuie doar să aplicăm acele noi modificări la robots-ul nostru.
Sfat bonus: fă-ți robots.txt de neuitat
Ți-am arătat o grămadă de linii de cod care funcționează pentru boți, dar poți insera și comentarii începând linia cu un „#”. Adică, orice începe cu „#” va fi ignorat de boți. Asta deschide o lume de posibilități și glume interne. Din acest motiv te încurajăm să arunci o privire asupra fișierelor robots.txt de la windupschool, pccomponentes sau Minube, cu siguranță vei da peste o surpriză ?
Concluzie
După cum ai văzut, fișierul robots.txt are multe de oferit și necesită, de asemenea, multă grijă, pentru că o directivă prost plasată poate bloca parcurgerea site-ului tău web.
Sperăm că acest ghid îți este util și, pentru orice întrebări, ne vedem în comentarii.
Autor: David Kaufmann
I've spent the last 10+ years completely obsessed with SEO — and honestly, I wouldn't have it any other way.
My career hit a new level when I worked as a senior SEO specialist for Chess.com — one of the top 100 most visited websites on the entire internet. Operating at that scale, across millions of pages, dozens of languages, and one of the most competitive SERPs out there, taught me things no course or certification ever could. That experience changed my perspective on what great SEO really looks like — and it became the foundation for everything I've built since.
From that experience, I founded SEO Alive — an agency for brands that are serious about organic growth. We're not here to sell dashboards and monthly reports. We're here to build strategies that actually move the needle, combining the best of classical SEO with the exciting new world of Generative Engine Optimization (GEO) — making sure your brand shows up not just in Google's blue links, but inside the AI-generated answers that ChatGPT, Perplexity, and Google AI Overviews are delivering to millions of people every single day.
And because I couldn't find a tool that handled both of those worlds properly, I built one myself — SEOcrawl, an enterprise SEO intelligence platform that brings together rankings, technical audits, backlink monitoring, crawl health, and AI brand visibility tracking all in one place. It's the platform I always wished existed.
Descoperă mai mult conținut de la acest autor
