SEO testlerinde istatistiksel anlamlılık: Anlaşılır bir rehber

SEO testlerinde istatistiksel anlamlılık neden önemli

Arama talebi yükselip düşer, rakipler içerik yayınlar ve kaybolur, Google sonuçları yeniden sıralar ve Search Console bile iki ila üç günlük bir gecikmeyle raporlar.

Sorun, trafikteki bir sıçramayı değişikliğinizin işe yaradığının kanıtı olarak okuyup site geneline yaydığınızda ve sonradan trafiğin mevsimsellikten ya da şanslı bir haftadan geldiğini fark ettiğinizde ortaya çıkar.

İstatistiksel anlamlılık, sizi gürültüye göre hareket etmekten alıkoyan disiplindir.

Anahtar kavramlar sade bir dille

Bir SEO testi sonucunu okumak için yalnızca birkaç terime ihtiyacınız var.

Kontrol ve varyant: SEO split testinde benzer sayfalardan oluşan bir küme alırsınız, bir grubu değiştirmeden bırakır (kontrol) ve değişikliğinizi diğerine uygularsınız (varyant).

Sıfır hipotezi: bu, değişikliğinizin hiçbir şey yapmadığı yönündeki sıkıcı varsayılan varsayımdır. Bir test, onu reddedecek kadar kanıt toplamaya çalışır.

p değeri: değişiklik gerçekten hiçbir şey yapmasaydı, bu kadar büyük (ya da daha büyük) bir farkı görme olasılığıdır. Küçük bir p değeri, bunun tesadüfen nadiren gerçekleşeceği anlamına gelir; dolayısıyla sonuç bir rastlantı olmaktan uzaktır.

Güven düzeyi ve anlamlılık düzeyi: p değerinin ayna görüntüsüdür. %95 güven düzeyi, 0,05 anlamlılık düzeyiyle (çoğunlukla alfa olarak yazılır) eşleşir. Bu ayarda, %5 oranında yanlış pozitif ihtimalini kabul edersiniz; yani gerçekte hiçbir şey değişmemişken bir kazanan ilan etme ihtimalini.

Ne kadar veriye ihtiyacınız var: örneklem büyüklüğü ve test süresi

Bir testin anlamlılığa ulaşıp ulaşamayacağını iki şey belirler: kaç sayfayı karşılaştırdığınız ve testi ne kadar süre çalıştırdığınız.

Klasik bir split test için uygulayıcılar, sinyalin gürültünün üzerine çıkması adına yaygın olarak grup başına birkaç yüz sayfalık bir örneklem büyüklüğünü hedefler.

Daha az sayfa, daha gürültülü ve daha az güvenilir bir sonuç demektir. Şablona dayalı sitelerin (e-ticaret, listeleme sayfaları, büyük bloglar) doğal olarak uygun olmasının nedeni budur. Sitenizde yalnızca bir avuç benzersiz sayfa varsa temiz bir split mümkün değildir ve gerçekçi alternatif, tek bir sayfa ya da küçük bir küme üzerinde zamana dayalı bir öncesi/sonrası testidir.

Google'ın kendi web sitesi testi kılavuzu, güvenilir bir sonuca ulaşmak için bir testi yalnızca gerektiği kadar çalıştırmayı ve ardından test öğelerini kaldırmayı önerir.

Uygulamada bu, tam haftalık döngüleri ve Google'ın dizine ekleme gecikmesini kapsayacak kadar uzun bir test demektir. Birçok SEO uzmanı dört ila altı hafta planlar ve düşük trafikli sayfalar için bu süreyi artırır.

İşte faydalı bir zihinsel model: on atıştan yedisinde tura gelen bir para pekâlâ hilesiz olabilir. Aynı para 1.000 atışta 800 kez tura gelirse neredeyse kesinlikle değildir. Daha fazla veri, gerçek bir etkiyi rastgelelikten ayırır.

Bir sonucun gerçek (anlamlı) mı yoksa rastgele mi olduğu nasıl anlaşılır

Test planlanan süresini tamamladıktan sonra, sonucu şöyle kontrol edersiniz.

Eşikle karşılaştırın. p değeri 0,05'in altındaysa (%95 güven), kontrol ile varyant arasındaki farkın tesadüf olması olası değildir. Üstündeyse, sonucu olumsuz değil belirsiz olarak değerlendirin: yalnızca daha fazla veriye ya da daha fazla zamana ihtiyacınız olabilir.

Erken durmayın. Bir testi izleyip grafik iyi göründüğü anda sonuca varmak, 'erken bakma' (peeking) olarak adlandırılır ve bu, yanlış pozitifler üretir. Bitiş koşullarını başlamadan önce belirleyin (ya bir anlamlılık hedefi ya da sabit bir bitiş tarihi) ve onlara sadık kalın.

"Anlamlı" ile "değer"i ayırın. İstatistiksel anlamlılık yalnızca bir etkinin var olduğunu söyler, ne kadar büyük olduğunu değil. Bir değişiklik anlamlılık eşiğini geçebilir ama yine de mühendislik emeğini haklı çıkarmayacak kadar küçük bir artış sağlayabilir. Bir şeyi yayına almadan önce etki büyüklüğüne p değerinin yanında bakın.

Pratik kurallar (elinizin altında bulunsun)

• ›Herhangi bir şeye dokunmadan önce tek bir değişken hakkında yanlışlanabilir bir hipotez yazın. Aynı anda birkaç şeyi değiştirirseniz hangisinin fark yarattığını anlayamazsınız.
• ›Split testlerde grup başına birkaç yüz sayfayı hedefleyin. Daha küçük sitelerde zamana dayalı öncesi/sonrası kullanın.
• ›Birkaç hafta planlayın ve bitiş koşullarını önceden belirleyin.
• ›Varsayılan eşik olarak %95 güven düzeyini (p < 0,05) kullanın.
• ›Test pencerenizin içinde core güncellemeleri ve mevsimselliği kontrol edin.
• ›Etki büyüklüğünü anlamlılığın yanında okuyun ve değişikliğin yayına girdiği tam tarihi kaydedin ki veriyle hizalayabilesiniz.

SEOcrawl AI ile gerçek, anlamlı değişimleri gürültüden nasıl ayırırsınız

Organik etkiyi gerçek Search Console verisine karşı okumak, testi tasarlamaktan ayrı bir iştir ve manuel emeğin çoğu burada gizlenir. SEOcrawl AI ölçüm tarafını üstlenir.

Kontrol ve varyant sayfalarınızı etiketlersiniz, ardından her grubun eğilimini SEO Paneli üzerinde okursunuz; buradaki kazananlar/kaybedenler görünümü, iki dönem arasındaki en büyük değişimleri deltaları önceden hesaplanmış olarak gösterir. SEO Notları bir değişikliğin ne zaman yayınlandığını işaretler ve 7., 14. ve 30. günlerde bir öncesi/sonrası raporu oluşturur.

Google core güncellemeleri otomatik olarak işaretlenir, böylece bir güncellemenin test pencerenizle çakışıp çakışmadığını görebilirsiniz; ve veri sınırsız saklama süresiyle doğrudan Google Search Console üzerinden geldiği için, mevsimselliği kontrol etmek adına tam yılları karşılaştırabilirsiniz.

Değişimi ölçün, tahmin etmeyin. SEOcrawl AI kontrol ve varyant sayfalarınızı etiketler, değişikliğin ne zaman yayınlandığını not eder ve test pencerenizle çakışan her core güncellemeyi işaretler; böylece okuduğunuz fark, gürültü değil sizin değişikliğinizdir. SEOcrawl AI'yı deneyin ya da SEO Panelini keşfedin.

Sıkça sorulan sorular

SEO'da istatistiksel anlamlılık nedir?

İstatistiksel anlamlılık, SEO metriklerinizdeki bir değişimin gerçek bir etki mi yoksa rastgele bir değişkenlik mi olduğunu değerlendirmenin bir yoludur. Uygulamada, kontrol ile varyant (ya da öncesi ile sonrası) arasındaki farkın yeterince büyük ve yeterli veriyle desteklenmiş olması, yani tesadüfen ortaya çıkmasının pek olası olmaması demektir.

Bir SEO testi için hangi p değerini kullanmalıyım?

Standart eşik, %95 güven düzeyine karşılık gelen 0,05 altında bir p değeridir. Bu, yaklaşık %5 oranında yanlış pozitif görme ihtimaliniz olduğu anlamına gelir.

Daha temkinli olmanız gerekirse 0,01 (%99 güven) gibi daha katı bir düzey belirleyebilirsiniz; ancak 0,05, SEO ve pazarlama testleri için yaygın kabul gören varsayılan eşiktir.

Bir SEO testi ne zaman istatistiksel olarak anlamlı hale gelir?

Bu, trafiğinize bağlıdır ancak birkaç haftayı hesaba katın. Birçok SEO uzmanı, verinin tam haftalık döngüleri ve Google'ın dizine ekleme gecikmesini kapsaması için testleri dört ila altı hafta çalıştırır; düşük trafikli sayfalar daha uzun sürebilir.

Bitiş koşullarınızı başlamadan önce belirleyin ve erken durmaktan kaçının, çünkü sonuçlara erkenden bakmak yanlış pozitifleri artırır.

Bir SEO split testi için ne kadar büyük bir örneklem gerekir?

Klasik bir split test için, sinyalin gürültüden sıyrılması adına grup başına birkaç yüz sayfayı hedefleyin. Şablona dayalı sayfalar (ürün, kategori ya da konum sayfaları) bunu gerçekçi kılar.

Siteniz bu hacme ulaşamayacak kadar küçükse split'i bırakın ve tek bir sayfada zamana dayalı bir öncesi/sonrası testi kullanın, ideali yıldan yıla karşılaştırmaktır.