Statistisk signifikans i SEO-test: en guide i almindeligt sprog

Derfor betyder statistisk signifikans noget i SEO-test

Søgeefterspørgslen stiger og falder, konkurrenter udgiver og forsvinder, Google blander resultaterne, og Search Console selv rapporterer med to til tre dages forsinkelse.

Problemet opstår, hvis du læser et hop i trafikken som bevis på, at din ændring virkede, ruller den ud på hele sitet og senere opdager, at trafikken kom fra sæsonudsving eller en heldig uge.

Statistisk signifikans er den disciplin, der forhindrer dig i at handle på støj.

Nøglebegreberne i enkle ord

Du skal kun bruge en håndfuld begreber for at læse resultatet af en SEO-test.

Kontrol mod variant: i en SEO split-test tager du et sæt ens sider, lader den ene gruppe være uændret (kontrollen) og anvender din ændring på den anden (varianten).

Nulhypotesen: det er den kedelige standardantagelse, at din ændring ikke gjorde noget. En test forsøger at samle dokumentation nok til at forkaste den.

p-værdi: sandsynligheden for, at du ville se en forskel så stor (eller større), hvis ændringen reelt ikke gjorde noget. En lille p-værdi betyder »det ville sjældent ske ved en tilfældighed«, så resultatet er næppe et tilfælde.

Konfidensniveau og signifikansniveau: spejlbilledet af p-værdien. Et konfidensniveau på 95 % hører sammen med et signifikansniveau på 0,05 (ofte skrevet som alfa). Med den indstilling accepterer du 5 % risiko for en falsk positiv — altså for at udnævne en vinder, når intet reelt har ændret sig.

Hvor meget data du skal bruge: stikprøvestørrelse og testens varighed

To ting afgør, om en test kan nå signifikans: hvor mange sider du sammenligner, og hvor længe du kører den.

Til en klassisk split-test sigter praktikerne typisk efter en stikprøvestørrelse på nogle hundrede sider pr. gruppe, så signalet hæver sig over støjen.

Færre sider betyder et mere støjfyldt og mindre troværdigt resultat. Derfor passer skabelonbaserede sites (e-handel, oversigter, store blogs) naturligt til metoden. Har dit site kun en håndfuld unikke sider, er en ren opdeling ikke mulig, og det realistiske alternativ er en tidsbaseret før/efter-test på en enkelt side eller et lille sæt.

Googles egen vejledning om test på websites er at køre en test, kun så længe du har brug for det for at nå en pålidelig konklusion, og derefter fjerne testelementerne.

I praksis betyder det en test, der er lang nok til at dække hele ugecyklusser og Googles forsinkelse på indeksering. Mange SEO-folk regner med fire til seks uger og skruer op for sider med lav trafik.

Her er en nyttig mental model: en mønt, der lander på krone syv ud af ti gange, kan sagtens være fair. Den samme mønt, der lander på krone 800 ud af 1.000 gange, er det næsten helt sikkert ikke. Mere data får en reel effekt til at træde frem fra tilfældigheden.

Sådan afgør du, om et resultat er reelt (signifikant) eller tilfældigt

Når testen har kørt sit planlagte forløb, tjekker du resultatet sådan her.

Sammenlign med grænsen. Er p-værdien under 0,05 (95 % konfidens), er forskellen mellem kontrol og variant næppe tilfældig. Ligger den over, så behandl resultatet som inkonklusivt frem for negativt: du mangler måske bare mere data eller mere tid.

Stop ikke for tidligt. At holde øje med en test og udnævne den i det øjeblik, kurven ser god ud, hedder peeking, og det fabrikerer falske positiver. Fastlæg slutbetingelserne, før du går i gang — enten et signifikansmål eller en fast slutdato — og hold fast i dem.

Hold »signifikant« adskilt fra »det værd«. Statistisk signifikans fortæller dig kun, at der er en effekt, ikke hvor stor den er. En ændring kan passere signifikansgrænsen og alligevel give et løft, der er for lille til at retfærdiggøre udviklingsarbejdet. Se på effektstørrelsen ved siden af p-værdien, før du ruller noget ud.

Praktiske tommelfingerregler (hav dem ved hånden)

• ›Skriv en falsificerbar hypotese om én variabel, før du rører ved noget. Ændrer du flere ting på én gang, kan du ikke se, hvilken der flyttede noget.
• ›Sigt efter nogle hundrede sider pr. gruppe i split-test. Brug tidsbaseret før/efter på mindre sites.
• ›Regn med flere uger, og fastlæg slutbetingelserne på forhånd.
• ›Brug et konfidensniveau på 95 % (p < 0,05) som din standardgrænse.
• ›Tjek for core updates og sæsonudsving inden for dit testvindue.
• ›Læs effektstørrelsen ved siden af signifikansen, og noter den præcise dato, ændringen gik live, så du kan holde den op mod data.

Sådan skiller du reelle, signifikante udsving fra støj i SEOcrawl AI

At læse den organiske effekt op mod rigtige Search Console-data er en anden opgave end at designe testen, og det er dér, det meste manuelle arbejde gemmer sig. SEOcrawl AI tager sig af målesiden.

Du tagger dine kontrol- og variantsider og læser så hver gruppes udvikling på SEO Dashboard, hvor visningen med vindere/tabere viser de største ændringer mellem to perioder med forskellene allerede beregnet. SEO Annotations markerer, hvornår en ændring blev udrullet, og genererer en før/efter-rapport efter 7, 14 og 30 dage.

Googles core updates bliver markeret automatisk, så du kan se, om en af dem overlappede dit testvindue, og fordi data kommer direkte fra Google Search Console med ubegrænset historik, kan du sammenligne hele år for at styre for sæsonudsving.

Mål udsvinget, gæt det ikke. SEOcrawl AI tagger dine kontrol- og variantsider, annoterer hvornår ændringen blev udrullet, og markerer enhver core update, der overlapper dit testvindue — så den forskel, du læser, er din ændring og ikke støjen. Prøv SEOcrawl AI eller udforsk SEO Dashboard.

FAQ

Hvad er statistisk signifikans i SEO?

Statistisk signifikans er en måde at vurdere, om en ændring i dine SEO-tal er en reel effekt eller bare tilfældig variation. I praksis betyder det, at forskellen mellem din kontrol og din variant (eller mellem før og efter) er stor nok og bakket op af nok data til, at den næppe er opstået ved en tilfældighed.

Hvilken p-værdi skal jeg bruge til en SEO-test?

Standardgrænsen er en p-værdi under 0,05, hvilket svarer til et konfidensniveau på 95 %. Det betyder, at der er omkring 5 % risiko for, at du ser en falsk positiv.

Har du brug for at være mere forsigtig, kan du sætte et strengere niveau som 0,01 (99 % konfidens), men 0,05 er den bredt accepterede standard for SEO- og marketingtest.

Hvor lang tid går der, før en SEO-test er statistisk signifikant?

Det afhænger af din trafik, men regn med flere uger. Mange SEO-folk kører test i fire til seks uger, så data dækker hele ugecyklusser og Googles forsinkelse på indeksering, og sider med lav trafik kan kræve længere tid.

Fastlæg dine slutbetingelser, før du går i gang, og undgå at stoppe for tidligt, for at kigge på resultaterne undervejs puster antallet af falske positiver op.

Hvor stor en stikprøve skal jeg bruge til en SEO split-test?

Til en klassisk split-test skal du sigte efter nogle hundrede sider pr. gruppe, så signalet træder frem over støjen. Skabelonbaserede sider (produkt-, kategori- eller lokationssider) gør det realistisk.

Er dit site for lille til at nå det volumen, så drop opdelingen, og brug i stedet en tidsbaseret før/efter-test på en enkelt side, helst sammenlignet år for år.