Crawl budget: hvad det er, og hvordan du optimerer det
Når vi taler om SEO, tænker vi altid på ting som »søgeord«, »metadata«, overskrifter og indhold. Men teknisk SEO er en anden side af SEO, som også er meget vigtig og bør med i vores strategi for placeringer på nettet.
I den verden finder vi begrebet crawl budget. Lad os se grundigt på det!
Hvad er crawl budget?
Crawl budget er den tid, Google bruger, når den besøger et website. Budgettet påvirker et sites placeringer og indeksering, og derfor er det afgørende at holde øje med vores websites crawl budget. Nøgleprincipperne for et optimalt crawl budget er:
-
tilgængelighed
-
hastighed
-
kvalitet
-
autoritet
Hvad er en crawler?
En crawler er den edderkop eller bot, der automatisk crawler websites og deres URL'er. Botten gemmer og inddeler det indhold, der senere bliver vist brugerne i søgeresultaterne. Den hedder Googlebot, for vi er i Spanien, og vi taler om, at den vigtigste søgemaskine er Google. Derfor er det helt afgørende, at Google finder dit website og ved, at du findes.
Hvordan påvirker crawl budget mit website?
Et optimeret crawl budget giver dit website bedre placeringer i søgemaskinerne. Og det hjælper med at få alle de vigtige sider indekseret korrekt. Vi kan ikke se bort fra crawl budget i vores strategi for SEO-placeringer, for den tid, Google bruger på at lære vores website at kende, betyder meget.
Hvordan virker det?
Googles edderkopper crawler dit website, og er crawlbudgettet lille, kan de nå at forlade dit site uden at have crawlet alt det nye indhold. Budgettet bliver fordelt ud fra to faktorer:
-
Crawlgrænse: Angiver det maksimale crawl, et website kan holde til, og hvad præferencerne er.
-
Crawlbehov: Angiver, hvor ofte websitet bør crawles, ud fra sitets popularitet og hvor ofte det bliver opdateret.
Ved du, hvor ofte dit website bliver crawlet?
Takket være Google Search Console kan vi se crawlstatistikken for de seneste tre måneder. Der kan vi se, hvor mange sider den crawler om dagen, hvor mange kilobyte der bliver hentet om dagen, og hvor lang tid en side er om at blive hentet, målt i millisekunder. Tallene har et gennemsnit, der er inddelt i højt, normalt og lavt. De data siger meget, når vi holder dem op mod det samlede antal sider på vores website og det gennemsnitlige crawl per dag. Med dem kan vi se, om vi ligger inden for normen, eller om vi omvendt skal forbedre vores crawl budget.
Er et mindre crawl budget skadeligt?
Et mindre crawl budget har ulemper:
-
Det bliver svært for indhold at rangere hurtigt, for Google ved ikke, det findes, og crawler og indekserer det derfor ikke.
-
Områder langt ude på websitet bliver sårbare, hvis crawlbudgettet er lille. Botten når ikke at komme gennem de sider eller sektioner, der ligger længst væk på websitet.
-
De on-page-optimeringer, der er lavet, bliver ikke crawlet, og derfor bliver forbedringerne ikke synlige.
-
Indekserer og rangerer et andet website det samme indhold før vores, kan Google se det, som om vi har kopieret indholdet, og straffe os for det.
-
Et stort crawl budget garanterer ingenting, hvis vi ikke optimerer det rigtigt.
Hvordan opfører edderkopperne sig?
Vil vi vide, hvilke sider Google besøger, og hvor den bruger sin crawltid, og om det stemmer overens med vores SEO-prioriteter, skal vi kigge på de oplysninger, loggene giver.
Logs er forespørgsler til serveren, som bliver gemt, og som vi kan gå ind i for at se, hvad Googlebot besøger, og hvad den ikke besøger. Det kan være lettere at eksportere og organisere dokumentet med ScreamingFrog Log File Analyser.
Hvordan optimerer vi vores crawl budget?
Vi skal have styr på vores vigtigste URL'er, både for placeringer og for forretningen, så det er dem, der bliver crawlet mest. Det nytter ikke at bruge crawlbudgettet på sider, der ikke er vigtige, for eksempel sider med parametre, paginering osv.
Det bliver afgørende ikke at have problemer med duplikeret indhold eller URL'er, der kannibaliserer det samme søgeord. Indhold af lav kvalitet er også skadeligt, for bots bruger tid på at komme igennem det.
For at optimere det skal vi lægge vægt på følgende områder:
WPO (Web Performance Optimization)
Optimer indlæsningshastigheden eller WPO, så Google ikke er for længe om at crawle dit website. Google kan lide ren kode og så få filer som muligt, så indlæsningen går let og brugeroplevelsen bliver optimal.
Glem ikke at:
-
Reducere og komprimere CSS- og JS-filer
-
Holde øje med billedernes vægt og størrelse, og angive størrelsen
-
Vælge Nginx som server for at forbedre placeringerne gennem caching.
Links og viderestillinger
Botten crawler alt indholdet på dit website, og den følger også hvert eneste link på hver side. For at hjælpe crawlet på vej skal du huske:
-
Du bør undgå unødvendige viderestillinger, for Google farer vild i dem.
-
Viderestillingskæder er viderestillinger af mange URL'er, der får Google til at fare vild uden at nå frem til destinations-URL'erne.
- Døde links (sider, der er linket til med status 404 not found) i den interne linkbygning.
Screaming Frog og Search Console bliver vores bedste allierede til at finde fejlbehæftede viderestillinger og alle mulige URL'er med fejl.
Intern linkbygning
Intern linkbygning er afgørende at passe på, så vi ikke overdriver antallet af links og får bots til at fare vild, når de crawler URL'erne.
- Vi skal styrke de vigtigste områder og lade de mindre vigtige få færre links. Derfor er der sider som privatlivspolitikken eller cookiesiden, som det ikke er smart at linke til fra hovedmenuen eller footeren på hver eneste side.
Kode
- Det er en god idé at bruge HTML så meget som muligt, så det bliver lettere for bots at crawle og indeksere. Det er velkendt, at Google har svært ved at rendere og indeksere sider med JavaScript.
XML-sitemap
Sitemappet er en af de helt grundlæggende filer for Google, for det sikrer, at et website bliver crawlet og indekseret korrekt.
-
Jo mere organiseret, jo bedre. Organiser sitemappet efter vertikaler eller mapper.
-
Giv det et navn, der beskriver, hvad der er i det. Undgå navne, der er for generiske, som »sitemap 1«
-
Et sitemap til billeder, til videoer og per sprog.
-
De URL'er, du tager med, bør altid være de vigtigste, så undgå sider med viderestillinger, sider uden canonical-tag, filtersider, paginering osv. Tag heller ikke sider med, der ikke er særlig relevante, som privatlivspolitik eller cookies.
Robots txt
Sammen med sitemappet er filen robots.txt en af de vigtigste filer i indekseringen og crawlet af et website. Så glem ikke at optimere den så meget som muligt:
-
Henvis til XML-sitemappet, så crawlet bliver så let som muligt.
-
Bloker ikke vigtige mapper. Du kan bruge robots.txt-testeren i Search Console og tjekke, om du blokerer en vigtig mappe eller side.
-
Bloker ikke sider med viderestillinger eller canonical
-
Giv adgang til JS og CSS
Hreflang-tags
- De attributter hjælper Google med at se, på hvilke sprog og hvor mange sprog websitet findes.
Metarobots noindex og X-Robots-Tag
De direktiver fortæller botten, hvilke sider eller mapper der ikke skal indekseres, men de forhindrer ikke adgang til crawl.
-
Tags med metarobots-direktivet »noindex« bruger crawl budget, så det er helt afgørende ikke at overdrive brugen af dem.
-
X-Robots-headeren ligger i headeren på kodeniveau og kan give Google flere direktiver, blandt andet at siden ikke skal indekseres.
Anvendte kilder:
-
José Facchin: What is the crawl Budget, how important is it for Google and how can you improve it?
-
SEOCOM Agency: What is the Crawl Budget?
-
Big SEO Agency: What is the Crawl Budget? Keys to optimize it
-
ContentKing: Crawl budget in SEO: reference guide
-
Mi posicionamiento web: What is the Crawl Budget?
-
Luis Villanueva: What is the Crawl Budget?
-
Neil Patel: How to Use Google's Crawl Budget to Improve Your Website's SEO
-
Search Engine Journal: 7 tips to optimize Crawl Budget for SEO
-
Webmasters Google Blog: What crawl Budget means for Googlebot?
-
DeepCrawl: What is crawl budget?
Forfatter: David Kaufmann
Jeg har brugt de sidste 10+ år fuldstændig opslugt af SEO — og helt ærligt: jeg ville ikke have det anderledes.
Min karriere rykkede et niveau op, da jeg arbejdede som senior SEO-specialist for Chess.com — et af de 100 mest besøgte websites på hele internettet. At arbejde i den skala, på tværs af millioner af sider, snesevis af sprog og en af de mest konkurrenceprægede SERP'er der findes, lærte mig ting, som intet kursus og ingen certificering kunne have lært mig. Den erfaring ændrede mit syn på, hvordan rigtig godt SEO ser ud — og den blev fundamentet for alt, hvad jeg har bygget siden.
Ud af det grundlagde jeg SEO Alive — et bureau for brands, der mener det alvorligt med organisk vækst. Vi er ikke her for at sælge dashboards og månedsrapporter. Vi er her for at bygge strategier, der rent faktisk flytter noget, og vi kombinerer det bedste fra klassisk SEO med den spændende nye verden inden for Generative Engine Optimization (GEO) — så dit brand ikke kun dukker op i Googles blå links, men også inde i de AI-genererede svar, som ChatGPT, Perplexity og Google AI Overviews leverer til millioner af mennesker hver eneste dag.
Og fordi jeg ikke kunne finde et værktøj, der håndterede begge verdener ordentligt, byggede jeg selv et — SEOcrawl AI, en enterprise-platform til SEO-intelligens, der samler placeringer, tekniske audits, backlink-overvågning, crawl-sundhed og tracking af brandets synlighed i AI ét sted. Det er den platform, jeg altid ønskede fandtes.
Find mere indhold fra denne forfatter
