Statistiskā nozīmība SEO testēšanā: vienkāršs ceļvedis

Kāpēc statistiskā nozīmība ir svarīga SEO testēšanā

Meklēšanas pieprasījums ceļas un krīt, konkurenti publicē un pazūd, „Google“ pārkārto rezultātus, un pati „Search Console“ ziņo ar divu līdz trīs dienu aizkavi.

Problēma rodas, ja datplūsmas lēcienu uztverat kā pierādījumu, ka jūsu izmaiņas nostrādāja, ieviešat tās visā vietnē un vēlāk atklājat, ka datplūsma radusies sezonalitātes vai vienkārši veiksmīgas nedēļas dēļ.

Statistiskā nozīmība ir disciplīna, kas neļauj jums rīkoties, balstoties uz troksni.

Galvenie jēdzieni vienkāršos vārdos

Lai izlasītu SEO testa rezultātu, jums nepieciešams tikai neliels terminu kopums.

Kontrole pret variantu: SEO sadalītajā testēšanā jūs paņemat līdzīgu lapu kopu, vienu grupu atstājat nemainītu (kontrole) un piemērojat izmaiņas otrai (variants).

Nulles hipotēze: tas ir garlaicīgais noklusējuma pieņēmums, ka jūsu izmaiņas neko nemainīja. Ar testu tiek mēģināts savākt pietiekami daudz pierādījumu, lai to noraidītu.

p vērtība: varbūtība, ka jūs redzētu tikpat lielu (vai lielāku) atšķirību, ja izmaiņas patiesībā neko nemainītu. Maza p vērtība nozīmē „tas reti notiktu nejauši“, tāpēc rezultāts ir maz ticams kā sakritība.

Ticamības līmenis un nozīmības līmenis: p vērtības spoguļattēls. 95 % ticamības līmenis atbilst 0,05 nozīmības līmenim (bieži apzīmēts kā alfa). Pie šāda iestatījuma jūs pieņemat 5 % kļūdaini pozitīva rezultāta iespēju — proti, uzvarētāja pasludināšanu, kad patiesībā nekas nav mainījies.

Cik daudz datu nepieciešams: izlases apjoms un testa ilgums

To, vai tests var sasniegt nozīmību, nosaka divas lietas: cik lapu jūs salīdzināt un cik ilgi to veicat.

Klasiskam sadalītajam testam speciālisti parasti mērķē uz dažu simtu lapu izlasi katrā grupā, lai signāls paceltos virs trokšņa.

Mazāk lapu nozīmē trokšņaināku, mazāk uzticamu rezultātu. Tieši tāpēc veidnēs balstītas vietnes (e-komercija, saraksti, lieli emuāri) ir dabiskā izvēle. Ja jūsu vietnei ir tikai neliels skaits unikālu lapu, tīrs sadalījums nav iespējams, un reālistiskā alternatīva ir laikā balstīts „pirms/pēc“ tests vienā lapā vai nelielā to kopā.

Pašas „Google“ vietņu testēšanas ieteikums ir veikt testu tikai tik ilgi, cik nepieciešams, lai sasniegtu ticamu secinājumu, un pēc tam noņemt testa elementus.

Praksē tas nozīmē testu, kas ir pietiekami ilgs, lai aptvertu pilnus nedēļas ciklus un „Google“ indeksēšanas aizkavi. Daudzi SEO speciālisti plāno četras līdz sešas nedēļas un pagarina to zemas datplūsmas lapām.

Lūk, noderīgs domāšanas modelis: monēta, kas no desmit reizēm septiņas reizes uzkrīt ar cipara pusi, viegli var būt godīga. Tā pati monēta, kas no 1000 reizēm 800 reizes uzkrīt ar cipara pusi, gandrīz noteikti nav. Vairāk datu ļauj reālam efektam izcelties no nejaušības.

Kā noteikt, vai rezultāts ir reāls (nozīmīgs) vai nejaušs

Kad tests ir izpildījis savu ieplānoto gaitu, lūk, kā pārbaudīt rezultātu.

Salīdziniet ar slieksni. Ja p vērtība ir zem 0,05 (95 % ticamība), atšķirība starp kontroli un variantu ir maz ticama kā nejaušība. Ja tā ir virs tā, uztveriet rezultātu kā neskaidru, nevis negatīvu: iespējams, jums vienkārši nepieciešams vairāk datu vai laika.

Neapturiet priekšlaicīgi. Testa vērošana un tā pasludināšana brīdī, kad līnija izskatās laba, tiek saukta par ielūkošanos, un tā mākslīgi rada kļūdaini pozitīvus rezultātus. Nosakiet beigu nosacījumus pirms sākšanas — vai nu nozīmības mērķi, vai fiksētu beigu datumu — un ievērojiet tos.

Nošķiriet „nozīmīgu“ no „vērts to“. Statistiskā nozīmība tikai parāda, ka efekts pastāv, nevis cik tas ir liels. Izmaiņas var pārsniegt nozīmības slieksni un tomēr sniegt pārāk mazu pieaugumu, lai attaisnotu inženiertehnisko darbu. Pirms kaut ko ieviešat, aplūkojiet efekta lielumu līdzās p vērtībai.

Praktiskie īkšķa likumi (turiet tos pa rokai)

• ›Pirms kaut ko aiztiekat, uzrakstiet atspēkojamu hipotēzi par vienu mainīgo. Nomainot vairākas lietas vienlaikus, jūs nevarēsiet pateikt, kura no tām deva efektu.
• ›Sadalītajos testos mērķējiet uz dažiem simtiem lapu katrā grupā. Mazākās vietnēs izmantojiet laikā balstītu „pirms/pēc“.
• ›Plānojiet vairākas nedēļas un nosakiet beigu nosacījumus iepriekš.
• ›Kā noklusējuma slieksni izmantojiet 95 % ticamības līmeni (p < 0,05).
• ›Sava testa logā pārbaudiet, vai nav bijuši pamata atjauninājumi un sezonalitāte.
• ›Aplūkojiet efekta lielumu līdzās nozīmībai un pierakstiet precīzu datumu, kad izmaiņas stājās spēkā, lai jūs varētu tās salāgot ar datiem.

Kā nošķirt reālas, nozīmīgas izmaiņas no trokšņa ar SEOcrawl AI

Organiskās ietekmes lasīšana attiecībā pret reāliem „Search Console“ datiem ir atsevišķs darbs no testa izstrādes, un tieši tur slēpjas lielākā daļa manuālā darba. SEOcrawl AI parūpējas par mērīšanas pusi.

Jūs atzīmējat savas kontroles un varianta lapas, pēc tam katras grupas tendenci lasāt SEO informācijas panelī, kur uzvarētāju/zaudētāju skats parāda lielākās izmaiņas starp diviem periodiem ar jau aprēķinātām starpībām. SEO anotācijas atzīmē, kad izmaiņas tika ieviestas, un ģenerē „pirms/pēc“ atskaiti 7., 14. un 30. dienas atzīmēs.

„Google“ pamata atjauninājumi tiek atzīmēti automātiski, tāpēc jūs varat redzēt, vai kāds no tiem pārklājās ar jūsu testa logu, un, tā kā dati nāk tieši no Google Search Console ar neierobežotu glabāšanu, jūs varat salīdzināt pilnus gadus, lai kontrolētu sezonalitāti.

Izmēriet izmaiņas, nevis minot. SEOcrawl AI atzīmē jūsu kontroles un varianta lapas, anotē, kad izmaiņas tika ieviestas, un atzīmē jebkuru pamata atjauninājumu, kas pārklājas ar jūsu testa logu, — lai atšķirība, ko jūs lasāt, būtu jūsu izmaiņas, nevis troksnis. Izmēģiniet SEOcrawl AI vai iepazīstiet SEO informācijas paneli.

BUJ

Kas ir statistiskā nozīmība SEO jomā?

Statistiskā nozīmība ir veids, kā novērtēt, vai jūsu SEO rādītāju izmaiņas ir reāls efekts vai tikai nejaušas svārstības. Praksē tas nozīmē, ka atšķirība starp kontroles un varianta grupu (vai starp „pirms“ un „pēc“) ir pietiekami liela un balstīta pietiekamā datu apjomā, lai būtu maz ticams, ka tā radusies nejauši.

Kādu p vērtību izmantot SEO testam?

Standarta slieksnis ir p vērtība zem 0,05, kas atbilst 95 % ticamības līmenim. Tas nozīmē, ka pastāv aptuveni 5 % iespēja, ka redzat kļūdaini pozitīvu rezultātu.

Ja nepieciešama lielāka piesardzība, varat noteikt stingrāku līmeni, piemēram, 0,01 (99 % ticamība), taču 0,05 ir plaši pieņemtā noklusējuma vērtība SEO un mārketinga testiem.

Cik ilgi paiet, līdz SEO tests kļūst statistiski nozīmīgs?

Tas ir atkarīgs no jūsu datplūsmas, taču plānojiet vairākas nedēļas. Daudzi SEO speciālisti testus veic četras līdz sešas nedēļas, lai dati aptvertu pilnus nedēļas ciklus un „Google“ indeksēšanas aizkavi, savukārt zemas datplūsmas lapām var būt nepieciešams ilgāks laiks.

Nosakiet beigu nosacījumus pirms sākšanas un izvairieties no priekšlaicīgas apturēšanas, jo rezultātu ielūkošanās palielina kļūdaini pozitīvo rezultātu skaitu.

Cik liela izlase nepieciešama SEO sadalītajam testam?

Klasiskam sadalītajam testam mērķējiet uz dažiem simtiem lapu katrā grupā, lai signāls izceltos virs trokšņa. Veidnēs balstītas lapas (produktu, kategoriju vai atrašanās vietu lapas) padara to reālu.

Ja jūsu vietne ir pārāk maza šāda apjoma sasniegšanai, atsakieties no sadalījuma un izmantojiet laikā balstītu „pirms/pēc“ testu vienā lapā, ideālā gadījumā salīdzinot gadu pret gadu.