Significância estatística nos testes de SEO: um guia em linguagem simples

Por que a significância estatística é importante nos testes de SEO

A procura de pesquisa sobe e desce, os concorrentes publicam e desaparecem, o Google reorganiza os resultados e a própria Search Console apresenta os dados com dois a três dias de atraso.

O problema surge se interpretar um aumento de tráfego como prova de que a sua mudança funcionou, o implementar em todo o site e, mais tarde, descobrir que o tráfego veio da sazonalidade ou de uma semana de sorte.

A significância estatística é a disciplina que o impede de agir com base no ruído.

Conceitos-chave em palavras simples

Basta um punhado de termos para ler o resultado de um teste de SEO.

Controlo vs variante: nos testes divididos de SEO, pega num conjunto de páginas semelhantes, deixa um grupo inalterado (o controlo) e aplica a sua mudança ao outro (a variante).

A hipótese nula: esta é a aborrecida suposição por defeito de que a sua mudança não teve qualquer efeito. Um teste procura reunir provas suficientes para a rejeitar.

Valor-p: a probabilidade de observar uma diferença tão grande (ou maior) se a mudança, na verdade, não tivesse feito nada. Um valor-p pequeno significa «isto raramente aconteceria por acaso», por isso é improvável que o resultado seja uma coincidência.

Nível de confiança e nível de significância: a imagem espelhada do valor-p. Um nível de confiança de 95% combina com um nível de significância de 0.05 (frequentemente escrito como alfa). Com essa definição, aceita 5% de probabilidade de um falso positivo — ou seja, declarar um vencedor quando nada mudou realmente.

Quantos dados precisa: tamanho da amostra e duração do teste

Duas coisas determinam se um teste consegue atingir significância: quantas páginas compara e durante quanto tempo o executa.

Para um teste dividido clássico, os profissionais costumam procurar um tamanho de amostra de algumas centenas de páginas por grupo para que o sinal se sobreponha ao ruído.

Menos páginas significam um resultado mais ruidoso e menos fiável. É por isso que os sites baseados em modelos (e-commerce, listagens, blogues grandes) são a escolha natural. Se o seu site tiver apenas um punhado de páginas únicas, uma divisão limpa não é possível, e a alternativa realista é um teste temporal de antes/depois numa única página ou num pequeno conjunto.

A própria orientação do Google sobre testes em sites recomenda executar um teste apenas durante o tempo necessário para chegar a uma conclusão fiável, e depois remover os elementos de teste.

Na prática, isso significa um teste suficientemente longo para cobrir ciclos semanais completos e o atraso de indexação do Google. Muitos profissionais de SEO contam com quatro a seis semanas e ajustam para cima no caso de páginas com pouco tráfego.

Aqui fica um modelo mental útil: uma moeda que sai cara sete em cada dez vezes pode facilmente ser equilibrada. A mesma moeda a sair cara 800 em 1000 vezes quase de certeza não é. Mais dados fazem um efeito real destacar-se da aleatoriedade.

Como saber se um resultado é real (significativo) ou aleatório

Depois de o teste ter seguido o seu curso planeado, veja como verificar o resultado.

Compare com o limiar. Se o valor-p estiver abaixo de 0.05 (95% de confiança), a diferença entre o controlo e a variante dificilmente será acaso. Se estiver acima, trate o resultado como inconclusivo em vez de negativo: pode simplesmente precisar de mais dados ou de mais tempo.

Não pare cedo. Vigiar um teste e dá-lo por concluído no momento em que a linha parece boa chama-se espreitar, e isso fabrica falsos positivos. Defina as condições de fim antes de começar — seja um objetivo de significância, seja uma data de fim fixa — e cumpra-as.

Separe «significativo» de «vale a pena». A significância estatística só lhe diz que existe um efeito, não o tamanho dele. Uma mudança pode ultrapassar o limiar de significância e ainda assim proporcionar um ganho demasiado pequeno para justificar o trabalho de engenharia. Olhe para a dimensão do efeito ao lado do valor-p antes de implementar seja o que for.

Regras práticas gerais (tenha-as à mão)

• ›Escreva uma hipótese falsificável sobre uma variável antes de mexer em seja o que for. Mude várias coisas ao mesmo tempo e não conseguirá saber qual delas fez a diferença.
• ›Procure algumas centenas de páginas por grupo nos testes divididos. Use o antes/depois temporal em sites mais pequenos.
• ›Conte com várias semanas e defina as condições de fim com antecedência.
• ›Use um nível de confiança de 95% (p < 0.05) como o seu limite por defeito.
• ›Verifique se há atualizações core e sazonalidade dentro da janela do seu teste.
• ›Leia a dimensão do efeito ao lado da significância e registe a data exata em que a mudança entrou em produção, para poder alinhá-la com os dados.

Como separar as mudanças reais e significativas do ruído no SEOcrawl AI

Ler o impacto orgânico face a dados reais da Search Console é uma tarefa distinta de conceber o teste, e é onde se esconde a maior parte do esforço manual. O SEOcrawl AI trata do lado da medição.

Etiqueta as suas páginas de controlo e de variante e depois lê a tendência de cada grupo no SEO Dashboard, onde a vista de vencedores/perdedores mostra as maiores mudanças entre dois períodos com os deltas já calculados. As Anotações de SEO marcam quando uma mudança foi lançada e geram um relatório de antes/depois aos 7, 14 e 30 dias.

As atualizações core do Google são assinaladas automaticamente, para que possa ver se alguma se sobrepôs à janela do seu teste e, como os dados vêm diretamente do Google Search Console com retenção ilimitada, pode comparar anos completos para controlar a sazonalidade.

Meça a mudança, não a adivinhe. O SEOcrawl AI etiqueta as suas páginas de controlo e de variante, anota quando a mudança foi lançada e assinala qualquer atualização core que se sobreponha à janela do seu teste — para que a diferença que lê seja a sua mudança, e não o ruído. Experimente o SEOcrawl AI ou explore o SEO Dashboard.

FAQs

O que é a significância estatística no SEO?

A significância estatística é uma forma de avaliar se uma mudança nas suas métricas de SEO é um efeito real ou apenas variação aleatória. Na prática, significa que a diferença entre o controlo e a variante (ou entre o antes e o depois) é suficientemente grande, e sustentada por dados suficientes, para ser improvável que tenha acontecido por acaso.

Que valor-p devo usar num teste de SEO?

O padrão de referência é um valor-p abaixo de 0.05, que corresponde a um nível de confiança de 95%. Significa que há cerca de 5% de probabilidade de estar a ver um falso positivo.

Se precisar de ser mais cauteloso, pode definir um nível mais rigoroso, como 0.01 (99% de confiança), mas 0.05 é o padrão amplamente aceite para testes de SEO e de marketing.

Quanto tempo até um teste de SEO ser estatisticamente significativo?

Depende do seu tráfego, mas conte com várias semanas. Muitos profissionais de SEO mantêm os testes durante quatro a seis semanas para que os dados cubram ciclos semanais completos e o atraso de indexação do Google, e as páginas com pouco tráfego podem precisar de mais tempo.

Defina as suas condições de fim antes de começar e evite parar cedo, pois espreitar os resultados aumenta os falsos positivos.

De que tamanho de amostra preciso para um teste dividido de SEO?

Para um teste dividido clássico, procure algumas centenas de páginas por grupo para que o sinal se destaque do ruído. As páginas baseadas em modelos (páginas de produto, de categoria ou de localização) tornam isto realista.

Se o seu site for demasiado pequeno para atingir esse volume, dispense a divisão e use um teste temporal de antes/depois numa única página, idealmente comparado ano após ano.