Significació estadística en els tests de SEO: una guia en llenguatge planer

Per què la significació estadística importa en els tests de SEO

La demanda de cerca puja i baixa, els competidors publiquen i desapareixen, Google reorganitza els resultats i la mateixa Search Console informa amb un retard de dos a tres dies.

El problema arriba si interpretes un repunt de trànsit com a prova que el teu canvi ha funcionat, ho desplegues a tot el lloc i, més tard, descobreixes que el trànsit venia de l'estacionalitat o d'una setmana de sort.

La significació estadística és la disciplina que t'impedeix actuar sobre el soroll.

Conceptes clau en paraules senzilles

Només et cal un grapat de termes per llegir el resultat d'un test de SEO.

Control vs variant: en els tests dividits de SEO, agafes un conjunt de pàgines semblants, deixes un grup sense canvis (el control) i apliques el teu canvi a l'altre (la variant).

La hipòtesi nul·la: és l'avorrida suposició per defecte que el teu canvi no ha fet res. Un test intenta reunir prou evidència per rebutjar-la.

Valor p: la probabilitat que veiessis una diferència tan gran (o més gran) si el canvi, de fet, no hagués fet res. Un valor p petit vol dir «això rarament passaria per atzar», de manera que és improbable que el resultat sigui una coincidència.

Nivell de confiança i nivell de significació: la imatge especular del valor p. Un nivell de confiança del 95% va aparellat amb un nivell de significació de 0.05 (sovint escrit com a alfa). Amb aquest ajust, acceptes un 5% de probabilitat de fals positiu — és a dir, declarar un guanyador quan en realitat no ha canviat res.

Quantes dades necessites: mida de la mostra i durada del test

Dues coses determinen si un test pot assolir significació: quantes pàgines compares i durant quant de temps l'executes.

Per a un test dividit clàssic, els professionals solen mirar d'aconseguir una mida de mostra d'unes quantes centenes de pàgines per grup perquè el senyal s'imposi al soroll.

Menys pàgines vol dir un resultat més sorollós i menys fiable. Per això els llocs basats en plantilles (e-commerce, llistats, blogs grans) són l'opció natural. Si el teu lloc només té un grapat de pàgines úniques, una divisió neta no és possible, i l'alternativa realista és un test temporal d'abans/després en una sola pàgina o un conjunt petit.

La mateixa guia de Google sobre proves en llocs web recomana executar un test només durant el temps que calgui per arribar a una conclusió fiable, i després eliminar els elements de prova.

A la pràctica, això vol dir un test prou llarg per cobrir cicles setmanals complets i el retard d'indexació de Google. Molts professionals de SEO compten amb quatre a sis setmanes i ho ajusten a l'alça per a pàgines amb poc trànsit.

Aquí tens un model mental útil: una moneda que surt cara set de cada deu vegades podria ser perfectament equilibrada. La mateixa moneda sortint cara 800 de 1000 vegades gairebé segur que no ho és. Més dades fan que un efecte real destaqui de l'aleatorietat.

Com saber si un resultat és real (significatiu) o aleatori

Un cop el test ha seguit el curs previst, així és com pots comprovar-ne el resultat.

Compara amb el llindar. Si el valor p està per sota de 0.05 (95% de confiança), la diferència entre el control i la variant difícilment serà atzar. Si està per damunt, tracta el resultat com a inconclús en lloc de negatiu: potser només necessites més dades o més temps.

No t'aturis aviat. Vigilar un test i donar-lo per acabat en el moment que la línia fa bona pinta s'anomena fer ullades, i això fabrica falsos positius. Fixa les condicions de finalització abans de començar — ja sigui un objectiu de significació o una data de finalització fixa — i compleix-les.

Separa «significatiu» de «val la pena». La significació estadística només et diu que existeix un efecte, no com de gran és. Un canvi pot superar el llindar de significació i tot i així aportar una millora massa petita per justificar la feina d'enginyeria. Mira la mida de l'efecte al costat del valor p abans de desplegar res.

Regles pràctiques generals (tingues-les a mà)

• ›Escriu una hipòtesi falsable sobre una sola variable abans de tocar res. Si canvies diverses coses alhora, no podràs saber quina ha marcat la diferència.
• ›Mira d'aconseguir unes quantes centenes de pàgines per grup en els tests dividits. Fes servir l'abans/després temporal en llocs més petits.
• ›Compta amb diverses setmanes i fixa les condicions de finalització per endavant.
• ›Fes servir un nivell de confiança del 95% (p < 0.05) com a llistó per defecte.
• ›Comprova si hi ha actualitzacions core i estacionalitat dins de la finestra del teu test.
• ›Llegeix la mida de l'efecte al costat de la significació i registra la data exacta en què el canvi va entrar en producció, perquè puguis alinear-la amb les dades.

Com separar els canvis reals i significatius del soroll a SEOcrawl AI

Llegir l'impacte orgànic enfront de dades reals de Search Console és una tasca diferent de dissenyar el test, i és on s'amaga la major part de l'esforç manual. SEOcrawl AI s'encarrega de la part del mesurament.

Etiquetes les teves pàgines de control i de variant i després llegeixes la tendència de cada grup al SEO Dashboard, on la vista de guanyadors/perdedors mostra els canvis més grans entre dos períodes amb els deltes ja calculats. Les Anotacions de SEO marquen quan s'ha llançat un canvi i generen un informe d'abans/després als 7, 14 i 30 dies.

Les actualitzacions core de Google s'assenyalen automàticament, de manera que pots veure si alguna s'ha solapat amb la finestra del teu test i, com que les dades vénen directament de Google Search Console amb retenció il·limitada, pots comparar anys sencers per controlar l'estacionalitat.

Mesura el canvi, no l'endevinis. SEOcrawl AI etiqueta les teves pàgines de control i de variant, anota quan s'ha llançat el canvi i assenyala qualsevol actualització core que se solapi amb la finestra del teu test — perquè la diferència que llegeixes sigui el teu canvi, i no el soroll. Prova SEOcrawl AI o explora el SEO Dashboard.

FAQs

Què és la significació estadística en SEO?

La significació estadística és una manera de jutjar si un canvi en les teves mètriques de SEO és un efecte real o només variació aleatòria. A la pràctica, vol dir que la diferència entre el control i la variant (o entre l'abans i el després) és prou gran, i amb prou dades al darrere, perquè sigui improbable que hagi passat per atzar.

Quin valor p hauria d'utilitzar en un test de SEO?

El llistó estàndard és un valor p per sota de 0.05, que correspon a un nivell de confiança del 95%. Vol dir que hi ha aproximadament un 5% de probabilitat que estiguis veient un fals positiu.

Si necessites ser més prudent, pots fixar un nivell més estricte com ara 0.01 (99% de confiança), però 0.05 és el valor per defecte àmpliament acceptat per als tests de SEO i de màrqueting.

Quant de temps fins que un test de SEO sigui estadísticament significatiu?

Depèn del teu trànsit, però compta amb diverses setmanes. Molts professionals de SEO mantenen els tests durant quatre a sis setmanes perquè les dades cobreixin cicles setmanals complets i el retard d'indexació de Google, i les pàgines amb poc trànsit poden necessitar més temps.

Fixa les teves condicions de finalització abans de començar i evita aturar-te aviat, ja que fer una ullada als resultats infla els falsos positius.

Quina mida de mostra necessito per a un test dividit de SEO?

Per a un test dividit clàssic, mira d'aconseguir unes quantes centenes de pàgines per grup perquè el senyal destaqui per damunt del soroll. Les pàgines basades en plantilles (pàgines de producte, de categoria o de localització) fan que això sigui realista.

Si el teu lloc és massa petit per arribar a aquest volum, deixa de banda la divisió i fes servir un test temporal d'abans/després en una sola pàgina, idealment comparat any rere any.