Statistical significance

Probabilitatea ca diferența în ratele de conversie între o anumită variație și linia de bază să nu se datoreze întâmplării aleatorii.

Se spune că un rezultat al unui experiment are semnificație statistică sau este semnificativ statistic, dacă probabil nu este cauzat de întâmplare pentru un anumit nivel de semnificație statistică.

Nivelul dvs. de semnificație statistică reflectă toleranța la risc și nivelul de încredere. De exemplu, dacă rulați un experiment de testare A / B cu un nivel de semnificație de 95%, acest lucru înseamnă că, dacă determinați un câștigător, puteți fi încrezător în 95% că rezultatele observate sunt reale și nu o eroare cauzată de întâmplare. De asemenea, înseamnă că există șanse de 5% să vă înșelați.

Ce înseamnă cu adevărat semnificația statistică?
Semnificația statistică este o modalitate de a demonstra matematic că o anumită statistică este fiabilă. Când luați decizii pe baza rezultatelor experimentelor pe care le desfășurați, veți dori să vă asigurați că există o relație.

Proprietarii de internet, specialiștii în marketing și agenții de publicitate au devenit recent interesați să se asigure că experimentele lor de testare A / B (de exemplu, testarea ratei de conversie A / B, modificări ale copierii anunțurilor, modificări ale subiectului e-mailului) obțin semnificație statistică înainte de a trece la concluzii.

Testarea ipotezei tale
Semnificația statistică este utilizată cel mai practic în testarea ipotezelor statistice. De exemplu, doriți să știți dacă modificarea sau nu a culorii unui buton de pe site-ul dvs. de la roșu la verde va avea ca rezultat mai multe persoane care fac clic pe el.

Dacă butonul dvs. este în prezent roșu, se numește „ipoteza nulă”. Întoarcerea butonului verde este cunoscută drept „ipoteza dvs. alternativă”. Pentru a determina diferența observată într-un test de semnificație statistică, veți dori să acordați atenție celor două rezultate: valoarea p și intervalul de încredere în jurul mărimii efectului.

Valoarea P se referă la valoarea probabilității de a observa un efect dintr-un eșantion. O valoare p <0,05 este pragul convențional pentru declararea semnificației statistice.

Intervalul de încredere în jurul mărimii efectului se referă la limitele superioare și inferioare a ceea ce se poate întâmpla cu experimentul dvs.

De ce este importantă semnificația statistică pentru afaceri?
Semnificația statistică este importantă, deoarece vă oferă încredere că modificările pe care le aduceți site-ului sau aplicației dvs. au de fapt un impact pozitiv asupra ratei de conversie și a altor valori. Valorile și cifrele dvs. pot fluctua enorm de la o zi la alta, iar analiza statistică oferă o bază matematică solidă pentru luarea deciziilor de afaceri și eliminarea falsurilor pozitive.

Un rezultat semnificativ statistic nu este atribuit întâmplării și depinde de două variabile cheie: dimensiunea eșantionului și dimensiunea efectului.

Dimensiunea eșantionului se referă la cât de mare este eșantionul pentru experimentul dvs. Cu cât eșantionul este mai mare, cu atât poți fi mai încrezător în rezultatul experimentului (presupunând că este un eșantion randomizat). Dacă efectuați teste pe un site web, cu cât site-ul dvs. primește mai mult trafic, cu atât mai repede veți avea un set de date suficient de mare pentru a determina dacă există rezultate semnificative statistic. Veți întâlni erori de eșantionare dacă dimensiunea eșantionului este prea mică.

Mărimea efectului se referă la dimensiunea diferenței de rezultate între cele două seturi de eșantioane și indică semnificația practică. Dacă există o dimensiune mică a efectului (să spunem o creștere de 0,1% a ratei de conversie), veți avea nevoie de o dimensiune foarte mare a eșantionului pentru a determina dacă diferența este semnificativă sau doar datorită întâmplării. Cu toate acestea, dacă observați un efect foarte mare asupra numerelor dvs., îl veți putea valida cu o dimensiune mai mică a eșantionului la un grad mai mare de încredere.

Dincolo de acești doi factori, un lucru cheie de reținut este importanța eșantionării randomizate. Dacă traficul către un site web este împărțit în mod egal între două pagini, dar eșantionarea nu este aleatorie, poate introduce erori datorate diferențelor de comportament ale populației eșantionate.

De exemplu, dacă 100 de persoane vizitează un site web și tuturor bărbaților li se afișează o versiune a unei pagini și tuturor femeilor li se arată o versiune diferită, atunci nu este posibilă o comparație între cele două, chiar dacă traficul este împărțit 50-50, deoarece diferența demografică ar putea introduce variații în date. Este necesar un eșantion cu adevărat aleator pentru a determina dacă rezultatul experimentului este semnificativ statistic.

În industria farmaceutică, cercetătorii folosesc rezultatele testelor statistice din studiile clinice pentru a evalua noi medicamente. Rezultatele cercetărilor din testele de semnificație indică eficacitatea medicamentelor, care poate determina finanțarea investitorilor și poate crea sau sparge un produs.

Calculați cu ușurință semnificația statistică cu Stats Engine
Calculul corect al semnificației statistice poate fi o sarcină complicată care necesită o înțelegere solidă a statisticilor și a calculului.

Din fericire, puteți determina cu ușurință semnificația statistică a experimentelor, fără nicio matematică folosind motorul de statistici, modelul statistic avansat încorporat în Optimizely.

Stats Engine funcționează combinând teste secvențiale și semne de control al ratei de descoperire falsă pentru a oferi rezultate semnificative statistic, indiferent de dimensiunea eșantionului. Actualizându-se în timp real, Stats Engine va asigura rezultate de nivel de semnificație de 95% de fiecare dată, sporindu-vă încrederea în luarea deciziei corecte pentru compania dvs. și pentru a evita capcanele pe parcurs.