Statistinis reikšmingumas SEO testavime: paprastas vadovas

Kodėl statistinis reikšmingumas svarbus SEO testavime

Paieškos paklausa kyla ir krenta, konkurentai skelbia ir dingsta, „Google“ pertvarko rezultatus, o pati „Search Console“ pateikia duomenis dviejų–trijų dienų vėlavimu.

Problema kyla tuomet, kai srauto šuolį palaikote įrodymu, jog jūsų pakeitimas suveikė, įdiegiate jį visoje svetainėje, o vėliau paaiškėja, kad srautas atsirado dėl sezoniškumo ar tiesiog laimingos savaitės.

Statistinis reikšmingumas – tai disciplina, kuri neleidžia jums veikti pagal triukšmą.

Pagrindinės sąvokos paprastais žodžiais

SEO testo rezultatui perskaityti jums reikia tik saujelės terminų.

Kontrolinė vs variantinė grupė: SEO padalytame testavime paimate panašių puslapių rinkinį, vieną grupę paliekate nepakeistą (kontrolinė), o pakeitimą pritaikote kitai (variantinė).

Nulinė hipotezė: tai nuobodi numatytoji prielaida, kad jūsų pakeitimas nieko nepadarė. Testu siekiama surinkti pakankamai įrodymų jai atmesti.

p reikšmė: tikimybė, kad matytumėte tokį pat didelį (ar didesnį) skirtumą, jei pakeitimas iš tikrųjų nieko nepadarė. Maža p reikšmė reiškia „taip retai nutiktų atsitiktinai“, taigi rezultatas mažai tikėtinas kaip sutapimas.

Pasikliovimo lygis ir reikšmingumo lygis: p reikšmės veidrodinis atspindys. 95 % pasikliovimo lygis dera su 0,05 reikšmingumo lygiu (dažnai žymimu alfa). Esant tokiam nustatymui priimate 5 % klaidingo teigiamo rezultato tikimybę – t. y. laimėtojo paskelbimą, kai iš tikrųjų niekas nepasikeitė.

Kiek duomenų reikia: imties dydis ir testo trukmė

Ar testas gali pasiekti reikšmingumą, lemia du dalykai: kiek puslapių lyginate ir kiek ilgai jį vykdote.

Klasikiniam padalytam testui specialistai dažniausiai siekia kelių šimtų puslapių imties kiekvienoje grupėje, kad signalas iškiltų virš triukšmo.

Mažiau puslapių reiškia triukšmingesnį, mažiau patikimą rezultatą. Būtent todėl šabloninės svetainės (el. prekyba, sąrašai, dideli tinklaraščiai) yra natūralus pasirinkimas. Jei jūsų svetainėje tik saujelė unikalių puslapių, švarus padalijimas neįmanomas, o realistiškas pakaitalas yra laiku pagrįstas „prieš / po“ testas viename puslapyje ar nedideliame jų rinkinyje.

Pačios „Google“ svetainių testavimo rekomendacija yra vykdyti testą tik tiek laiko, kiek reikia patikimai išvadai pasiekti, o paskui pašalinti testo elementus.

Praktiškai tai reiškia testą, pakankamai ilgą, kad apimtų pilnus savaitės ciklus ir „Google“ indeksavimo vėlavimą. Daugelis SEO specialistų planuoja nuo keturių iki šešių savaičių ir prailgina mažo srauto puslapiams.

Štai naudingas mąstymo modelis: moneta, iš dešimties kartų atvirtusi herbu septynis kartus, lengvai gali būti sąžininga. Ta pati moneta, iš 1 000 kartų atvirtusi herbu 800 kartų, beveik tikrai nėra. Daugiau duomenų padeda tikram efektui išsiskirti iš atsitiktinumo.

Kaip atskirti, ar rezultatas tikras (reikšmingas), ar atsitiktinis

Kai testas įvykdo suplanuotą eigą, štai kaip patikrinti rezultatą.

Palyginkite su slenksčiu. Jei p reikšmė mažesnė nei 0,05 (95 % pasikliovimas), skirtumas tarp kontrolinės ir variantinės grupės mažai tikėtinas kaip atsitiktinumas. Jei ji didesnė, laikykite rezultatą neaiškiu, o ne neigiamu: tiesiog gali prireikti daugiau duomenų ar laiko.

Nesustokite anksti laiko. Testo stebėjimas ir jo paskelbimas tą akimirką, kai linija atrodo gerai, vadinamas žvilgčiojimu ir jis dirbtinai kuria klaidingus teigiamus rezultatus. Nusistatykite pabaigos sąlygas prieš pradėdami – arba reikšmingumo tikslą, arba fiksuotą pabaigos datą – ir jų laikykitės.

Atskirkite „reikšmingą“ nuo „vertą to“. Statistinis reikšmingumas tik parodo, kad efektas egzistuoja, bet ne koks jis didelis. Pakeitimas gali peržengti reikšmingumo ribą ir vis tiek duoti per mažą prieaugį, kad pateisintų inžinerinį darbą. Prieš ką nors diegdami įvertinkite efekto dydį šalia p reikšmės.

Praktinės nykščio taisyklės (turėkite jas po ranka)

• ›Prieš ką nors keisdami parašykite paneigiamą hipotezę apie vieną kintamąjį. Pakeitę keletą dalykų iškart, negalėsite pasakyti, kuris iš jų padarė poveikį.
• ›Padalytuose testuose siekite kelių šimtų puslapių kiekvienoje grupėje. Mažesnėse svetainėse naudokite laiku pagrįstą „prieš / po“.
• ›Planuokite kelias savaites ir pabaigos sąlygas nustatykite iš anksto.
• ›Kaip numatytąją ribą naudokite 95 % pasikliovimo lygį (p < 0,05).
• ›Testo lange patikrinkite, ar nebuvo pagrindinių atnaujinimų ir sezoniškumo.
• ›Įvertinkite efekto dydį šalia reikšmingumo ir užsirašykite tikslią datą, kada pakeitimas įsigaliojo, kad galėtumėte jį sugretinti su duomenimis.

Kaip atskirti tikrus, reikšmingus pokyčius nuo triukšmo su „SEOcrawl AI“

Organinio poveikio skaitymas pagal realius „Search Console“ duomenis yra atskiras darbas nuo testo kūrimo ir būtent čia slypi didžioji dalis rankinio triūso. SEOcrawl AI pasirūpina matavimo puse.

Pažymite savo kontrolinius ir variantinius puslapius, tada kiekvienos grupės tendenciją skaitote SEO valdymo skydelyje, kur laimėtojų / pralaimėtojų rodinys parodo didžiausius pokyčius tarp dviejų laikotarpių su jau apskaičiuotais skirtumais. SEO anotacijos pažymi, kada pakeitimas įsigaliojo, ir sugeneruoja „prieš / po“ ataskaitą 7, 14 ir 30 dienų ribose.

„Google“ pagrindiniai atnaujinimai pažymimi automatiškai, todėl matote, ar kuris nors iš jų persidengė su jūsų testo langu, o kadangi duomenys ateina tiesiai iš Google Search Console su neribotu saugojimu, galite lyginti pilnus metus, kad kontroliuotumėte sezoniškumą.

Išmatuokite pokytį, o ne spėkite. SEOcrawl AI pažymi jūsų kontrolinius ir variantinius puslapius, anotuoja, kada pakeitimas įsigaliojo, ir pažymi bet kurį pagrindinį atnaujinimą, kuris persidengia su jūsų testo langu, – kad matomas skirtumas būtų jūsų pakeitimas, o ne triukšmas. Išbandykite SEOcrawl AI arba susipažinkite su SEO valdymo skydeliu.

DUK

Kas yra statistinis reikšmingumas SEO srityje?

Statistinis reikšmingumas – tai būdas įvertinti, ar jūsų SEO rodiklių pokytis yra tikras efektas, ar tik atsitiktinis svyravimas. Praktiškai tai reiškia, kad skirtumas tarp kontrolinės ir variantinės grupės (arba tarp „prieš“ ir „po“) yra pakankamai didelis ir paremtas pakankamu duomenų kiekiu, kad būtų mažai tikėtina, jog jis atsirado atsitiktinai.

Kokią p reikšmę naudoti SEO testui?

Standartinė riba yra p reikšmė, mažesnė nei 0,05, atitinkanti 95 % pasikliovimo lygį. Tai reiškia, kad yra maždaug 5 % tikimybė, jog matote klaidingą teigiamą rezultatą.

Jei reikia atsargumo, galite nustatyti griežtesnį lygį, pavyzdžiui, 0,01 (99 % pasikliovimas), tačiau 0,05 yra plačiai priimta numatytoji reikšmė SEO ir rinkodaros testams.

Kiek laiko užtrunka, kol SEO testas tampa statistiškai reikšmingas?

Tai priklauso nuo jūsų srauto, bet planuokite kelias savaites. Daugelis SEO specialistų testus vykdo nuo keturių iki šešių savaičių, kad duomenys apimtų pilnus savaitės ciklus ir „Google“ indeksavimo vėlavimą, o mažo srauto puslapiams gali prireikti daugiau laiko.

Nusistatykite pabaigos sąlygas prieš pradėdami ir nesustokite anksti laiko, nes rezultatų žvilgčiojimas didina klaidingų teigiamų rezultatų skaičių.

Kokio dydžio imties reikia SEO padalytam testui?

Klasikiniam padalytam testui siekite kelių šimtų puslapių kiekvienoje grupėje, kad signalas išsiskirtų iš triukšmo. Šabloniniai puslapiai (produktų, kategorijų ar vietovių puslapiai) tai padaro realiu.

Jei jūsų svetainė per maža šiam kiekiui pasiekti, atsisakykite padalijimo ir naudokite laiku pagrįstą „prieš / po“ testą viename puslapyje, geriausia lyginant metus su metais.