robots.txt: complete gids om hem in te stellen
Beu om steeds over robots.txt te horen zonder te weten waar iedereen het over heeft? Geen zorgen, vandaag brengen we de oplossing voor je probleem. In deze post doen we ons best om uit te leggen wat robots.txt is, hoe je het instelt (vooral in WordPress) en welke impact het kan hebben op de SEO van ons project.
We gaan ervoor!
Wat is robots.txt en waar dient het voor?
Het robots.txt is simpelweg een bestand dat in de root van je website staat en waarmee je kunt voorkomen dat bepaalde bots (zoals die van Google of Bing) je site of delen daarvan bezoeken.
LET OP: het is belangrijk om te weten dat dit een protocol is en dat in de regel alle "goede" bots zich eraan houden (GoogleBot, BingBot, Semrush, ...), maar elke bot met slechte bedoelingen kan het negeren, zoals Screaming Frog wanneer je deze optie aanvinkt:
Waarom is het robots.txt-bestand belangrijk voor SEO?
Zoals we al zeiden, houden alle goede bots (zoals GoogleBot) zich aan dit protocol, dus we kunnen dit bestand gebruiken om Google door onze website te loodsen.
Wat? Hoe bedoel je? Google sturen met de robots.txt?
Ja, geen zorgen, we leggen het uit met een voorbeeld zodat het meteen duidelijk wordt:
Stel dat je website een besloten gedeelte heeft dat alleen toegankelijk is voor ingelogde gebruikers, en zoals we weten kan Google geen sites bezoeken waarvoor je moet inloggen (nog niet...).
Heeft het dan zin dat Google ons crawlbudget verspilt aan het crawlen van pagina's die voor hem geen waarde hebben?
Precies! Een van de belangrijkste toepassingen van robots.txt is het blokkeren van paden die weinig waarde hebben voor Google, zodat hij zich richt op de belangrijke pagina's van onze website. Daarom moet robots.txt een van de pijlers zijn binnen onze SEO-strategie.
Dit is slechts één voorbeeld van de duizenden dingen die we met dit bestand kunnen doen. Andere voorbeelden zijn het aangeven van onze sitemap, het verlagen van de crawlfrequentie, het blokkeren van bronnen voor crawlen, ...
Hoe maak je het robots.txt-bestand
Goed... aan de slag!
Dit bestand maken is supersimpel: pak gewoon je teksteditor (Kladblok op Windows of TextEdit op Mac) of gebruik een online editor en na het opstellen van je robots.txt exporteer je het als txt-bestand.
Zodra we het hebben, hoeven we het alleen nog maar "robots.txt" te noemen en via je serverpaneel of FTP naar de root van je website te uploaden.
Om te controleren of het correct is geüpload, hoef je alleen "/robots.txt" achter je domein te zetten, bijvoorbeeld https://seocrawl.com/robots.txt
LET OP: pas op met de cache, je kunt het beter incognito bekijken ;)
En als ik WordPress heb?
Als je WordPress hebt, is het nog eenvoudiger, want de beste SEO-plugins zoals Rank Math of Yoast hebben een ingebouwde tool om robots.txt direct te bewerken.
Bij Rank Math vind je het onder Rank Math > General Settings > Edit robots.txt
Bij Yoast moeten we naar SEO > Hulpmiddelen > Bestandseditor.
Zo kun je het bestand eenvoudig bewerken of aanmaken zonder een van de hierboven uitgelegde stappen te hoeven doorlopen.
Commando's
Hieronder bekijken we veel van de commando's die we tot onze beschikking hebben, samen met de bijbehorende voorbeelden:
Crawlen van je hele site blokkeren
User-agent: * Disallow: /
OPMERKING: ben je je website aan het ontwikkelen en wil je niet dat een bot je content bezoekt, leest en indexeert, dan werkt deze regel uitstekend.
Crawlen van een pagina blokkeren
User-agent: * Disallow: /url-van-de-pagina-die-ik-niet-wil-laten-crawlen
Crawlen van een map blokkeren
User-agent: * Disallow: /map/
Toegang tot een pagina toestaan
User-agent: * Allow: /pagina
Een map blokkeren en een pagina binnen die map toestaan
User-agent: * Disallow: /map/ Allow: /map/pagina
De sitemap aangeven
Sitemap: https://domein.com/sitemap.xml
Specifieke bots aansturen
Hier staan we wat langer bij stil. Je hebt vast gemerkt dat de meeste van de vorige directives begonnen met:
User-agent: *
Die "*" verwijst naar alle bots. Dus alle directives na die regel gelden voor alle bots. Willen we juist specifieke opdrachten naar bepaalde bots sturen, dan moeten we dat als volgt aanpassen:
User-agent: Googlebot als we de bot van Google bedoelen
User-agent: Bingbot als we de bot van Bing bedoelen
User-agent: DuckDuckBot als we de bot van DuckDuckGo bedoelen
Het enige wat je hoeft te doen is uitzoeken hoe de bot heet die je een opdracht wilt geven en hem net zo benoemen als hierboven.
Het robots.txt-bestand controleren en testen
Nu je klaar bent met het "tunen" van je robots om hem volledig geoptimaliseerd en op maat van je website te maken, hoef je hem alleen nog maar te testen.
Testen? Waarvoor?
Nou, testen om er zeker van te zijn dat we geen enkele regel hebben verprutst en dat hij ook echt de delen van de site blokkeert die we willen blokkeren.
Daarvoor raden we deze tool aan.
Eenmaal binnen hoef je alleen maar:
-
De URL in te voeren waarvan je wilt controleren of crawlen is toegestaan
-
De User Agent te kiezen
-
Op TEST te klikken
Direct daarna laadt ons hele robots.txt-bestand en eronder zie je of toegang is toegestaan of niet.
Zoals we kunnen zien geeft hij in dit geval een positief resultaat, maar voeren we een URL in die niet is toegestaan, dan markeert hij ook de regel die hem blokkeert:
Bovendien stelt deze tool ons in staat om ons robots.txt-bestand rechtstreeks vanuit daar te bewerken om wijzigingen door te voeren totdat het resultaat overeenkomt met ons doel. Eenmaal aangepast en getest, hoeven we deze nieuwe wijzigingen alleen maar door te voeren in onze robots.
Bonustip: maak je robots.txt onvergetelijk
We hebben je een hoop regels code laten zien die voor bots werken, maar je kunt ook commentaar toevoegen door een regel te beginnen met "#". Dat wil zeggen: alles wat met "#" begint, wordt door bots genegeerd. Dat opent een wereld aan mogelijkheden en interne grappen. Daarom raden we je aan om eens te kijken naar de robots.txt van windupschool, pccomponentes of Minube, je vindt vast een verrassing ?
Conclusie
Zoals je hebt gezien biedt het robots.txt-bestand een hoop mogelijkheden, maar het vraagt ook om de nodige zorgvuldigheid: één verkeerd geplaatste directive kan het crawlen van je hele site blokkeren.
We hopen dat deze gids je van pas komt en bij vragen zien we elkaar in de comments.
Auteur: David Kaufmann
Ik heb de afgelopen 10+ jaar volledig in het teken van SEO gestaan — en eerlijk gezegd zou ik het voor geen goud anders willen.
Mijn carrière bereikte een nieuw niveau toen ik als senior SEO-specialist werkte voor Chess.com — een van de 100 meest bezochte websites van het hele internet. Werken op die schaal, verspreid over miljoenen pagina's, tientallen talen en in een van de meest competitieve SERPs die er bestaan, heeft me dingen geleerd die geen cursus of certificering ooit zou kunnen. Die ervaring veranderde mijn kijk op hoe geweldige SEO er echt uitziet — en werd de basis voor alles wat ik sindsdien heb gebouwd.
Vanuit die ervaring heb ik SEO Alive opgericht — een bureau voor merken die serieus werk willen maken van organische groei. Wij zijn er niet om dashboards en maandelijkse rapporten te verkopen. Wij zijn er om strategieën te bouwen die daadwerkelijk het verschil maken, door het beste van klassieke SEO te combineren met de spannende nieuwe wereld van Generative Engine Optimization (GEO) — zodat jouw merk niet alleen opduikt in de blauwe links van Google, maar ook binnen de AI-gegenereerde antwoorden die ChatGPT, Perplexity en Google AI Overviews elke dag opnieuw aan miljoenen mensen leveren.
En omdat ik geen tool kon vinden die beide werelden goed aanpakte, heb ik er zelf een gebouwd — SEOcrawl, een enterprise SEO intelligence platform dat rankings, technische audits, backlinks-monitoring, crawl-gezondheid en AI brand visibility tracking op één plek samenbrengt. Het is het platform waarvan ik altijd had gewild dat het bestond.
Ontdek meer content van deze auteur
