Type 2 error

Termen de statistică folosit pentru a se referi la o eroare de testare care se face atunci când nu este declarat niciun câștigător concludent între un control și o variație atunci când ar trebui să existe de fapt unul.

O eroare de tip 2 este un termen de statistică utilizat pentru a se referi la un tip de eroare care se face atunci când nu este declarat niciun câștigător concludent între un control și o variație atunci când ar trebui să existe de fapt unul.

Care sunt diferențele dintre erorile de tip I și de tip II?
Când efectuați testarea statistică a ipotezelor, pot apărea două tipuri de erori: erori de tip I și erori de tip II.

Erorile de tip I seamănă cu „falsurile pozitive” și se întâmplă atunci când concluzionați că varianta cu care experimentați este „câștigătoare” atunci când de fapt nu. Din punct de vedere științific, acest lucru înseamnă că respingeți greșit adevărata ipoteză nulă și credeți că există o relație atunci când nu există. Șansa de a comite erori de tip I este cunoscută ca rata de eroare de tip I sau nivelul de semnificație (valoarea p) - acest număr este setat în mod convențional și arbitrar la 0,05 (5%).

Erorile de tip II sunt ca „negative negative”, o respingere incorectă conform căreia o variație dintr-un test nu a făcut nicio diferență semnificativă statistic. Statistic vorbind, acest lucru înseamnă că credeți din greșeală ipoteza falsă nulă și credeți că o relație nu există atunci când există. Comiți o eroare de tip 2 atunci când nu crezi ceva care este de fapt adevărat.

De ce apar erori de tip 2?
Puterea statistică este probabilitatea ca un test să detecteze o diferență reală în rata de conversie între două sau mai multe variații.

Cel mai important factor determinant al puterii unui test dat este mărimea eșantionului său. Puterea statistică depinde și de magnitudinea diferenței de rată de conversie pe care doriți să o testați.

Cu cât diferența pe care doriți să o detectați este mai mică, cu atât este mai mare dimensiunea eșantionului (și cu atât este mai mare durata).

Specialiștii în marketing își pot subestima cu ușurință testele utilizând o dimensiune a eșantionului prea mică.

Asta înseamnă că au șanse reduse de a detecta adevăratele pozitive, chiar și atunci când există de fapt o diferență substanțială în rata de conversie.

În testarea A / B, există un echilibru între viteza datelor de testare și certitudinea rezultatelor. O modalitate de a rezolva această problemă este de a rula un test pentru o perioadă mai lungă de timp pentru a crește dimensiunea eșantionului și, sperăm, pentru a reduce probabilitatea unei erori de tip 2.

De ce este important să fii atent la erorile de tip 2?
Un motiv pentru a fi atenți la erorile de tip 2 este că acestea pot împiedica pe termen lung costul de optimizare a conversiei clienților.

Dacă nu vedeți efectele variațiilor în ipotezele dvs. alternative acolo unde acestea există, este posibil să vă pierdeți timpul și să nu profitați de oportunități pentru a vă îmbunătăți rata de conversie.

Exemplu de eroare de tip 2
Să luăm în considerare o situație ipotetică. Sunteți responsabil de un site de comerț electronic și testați variantele unei pagini de destinație. Vom examina modul în care o eroare de tip 2 ar putea avea un impact negativ asupra veniturilor companiei dvs.

Testul ipotezei dvs. implică schimbarea butonului CTA „Cumpărați acum” de la verde la roșu va crește semnificativ conversiile în comparație cu pagina dvs. de destinație originală. Lansați testul A / B și așteptați să pătrundă eșantionul de date aleatoriu.

În 48 de ore, descoperiți că rata de conversie pentru butonul verde este identică cu rata de conversie pentru butonul roșu (4,8%) cu un nivel de semnificație de 95%.

Dezamăgit, declarați că butonul verde eșuează și păstrați pagina de destinație așa cum este.

În săptămâna următoare, ați citit un articol despre modul în care butoanele verzi măresc ratele de conversie. Decizi să încerci din nou ipoteza ta. De data aceasta, așteptați două săptămâni înainte de a vă verifica rezultatele.

Eureka! Descoperiți că butonul verde are o rată de conversie de 5% comparativ cu 4,8% din butonul roșu și are semnificație statistică. Se pare că ați comis o eroare de tip 2, deoarece dimensiunea eșantionului a fost prea mică.

Cum să evitați erorile de tip 2
Deși este imposibil să evitați complet erorile de tip 2, este posibil să reduceți șansa ca acestea să apară prin creșterea dimensiunii eșantionului. Aceasta înseamnă efectuarea unui experiment mai mult timp și colectarea mai multor date pentru a vă ajuta să luați decizia corectă cu rezultatele testului. Acest lucru va ajuta la evitarea concluziei false că un experiment nu are niciun impact, atunci când are efectiv.

O altă modalitate de a ajuta la prevenirea erorilor de tip 2 este să efectuați modificări mari și îndrăznețe paginilor dvs. web și aplicațiilor în timpul experimentelor. Cu cât efectul unei modificări este mai mare, cu atât veți avea nevoie de o dimensiune mai mică a eșantionului și cu atât este mai mică șansa de a nu observa o modificare. O creștere cu 25% a ratei de conversie este mult mai ușor de observat decât o creștere de 0,001%.