Type 1 error

Termen de statistică folosit pentru a se referi la o eroare care se face la testare atunci când este declarat un câștigător concludent, deși testul este de fapt neconcludent.

O eroare de tip 1 (sau eroare de tip I) este un termen statistic folosit pentru a se referi la un tip de eroare care se face în testare atunci când este declarat un câștigător concludent, deși testul este de fapt neconcludent.

Din punct de vedere științific, o eroare de tip 1 este denumită respingerea unei ipoteze adevărate nule, deoarece o ipoteză nulă este definită ca ipoteza că nu există nicio diferență semnificativă între populațiile specificate, orice diferență observată fiind datorată eșantionării sau erorii experimentale.

Cu alte cuvinte, o eroare de tip 1 este ca un „fals pozitiv”, o credință incorectă că o variație într-un test a făcut o diferență statistic semnificativă.

Acesta este doar unul dintre tipurile de erori, întrucât opusul unei erori de tip 1 este o eroare de tip 2, care este definită ca refuzul unei ipoteze nule false sau a unui fals negativ.

De ce apar erori de tip 1?
Erorile pot apărea cu ușurință atunci când statisticile sunt înțelese greșit sau aplicate incorect.

În statistici, noțiunea de eroare statistică este o parte integrantă a testării oricărei ipoteze.

Niciun test de ipoteză nu este vreodată sigur. Deoarece fiecare test se bazează pe probabilități, există întotdeauna un risc ușor de a trage o concluzie incorectă (cum ar fi o eroare de tip 1 (fals pozitiv) sau eroare de tip 2 (fals negativ).

Semnificația statistică a fost calculată în mod tradițional cu presupuneri că testul se desfășoară într-un interval de timp fixat și se termină de îndată ce a fost atinsă dimensiunea corespunzătoare a eșantionului. Acesta este ceea ce se numește „orizont fix”.

Metodologia „orizont fix” presupune că veți lua o decizie numai după ce dimensiunea eșantionului final a fost atinsă.

Desigur, nu acesta este modul în care lucrurile funcționează în lumea testelor A / B. Fără o dimensiune a eșantionului prestabilită (și rezultate care nu sunt semnificative statistic), este ușor să faceți o eroare de tip 1.

Testele de ipoteză au un nivel de semnificație statistică atașat lor, notat cu litera greacă alfa, α.

Numărul reprezentat de α este o probabilitate de încredere în acuratețea rezultatelor testului. În universul marketingului digital, standardul este acum că rezultatele semnificative statistic apreciază alfa la un nivel de semnificație de 0,05 sau 5%.

Un nivel de încredere de 95% înseamnă că există șanse de 5% ca rezultatele testelor dvs. să fie rezultatul unei erori de tip 1 (fals pozitiv).

De ce este important să fii atent la erorile de tip 1?
Principalul motiv pentru care ai grijă la erorile de tip 1 este că pot ajunge să coste o mulțime de bani companiei tale.

Dacă faceți o presupunere defectă și apoi modificați componentele creative ale unei pagini de destinație pe baza acestei presupuneri, puteți risca să vă răniți rata de conversie a clienților la un nivel semnificativ.

Cel mai bun mod de a ajuta la evitarea erorilor de tip 1 este să vă creșteți pragul de încredere și să rulați experimente mai mult timp pentru a colecta mai multe date.

Exemplu de eroare de tip 1
Să luăm în considerare o situație ipotetică. Sunteți responsabil de un site de comerț electronic și testați variante pentru pagina dvs. de destinație. Vom examina modul în care o eroare de tip 1 ar afecta vânzările dvs.

Ipoteza dvs. este că schimbarea butonului CTA „Cumpărați acum” de la verde la roșu va crește semnificativ conversiile în comparație cu pagina dvs. originală.

Lansați testul A / B și verificați rezultatele în 48 de ore. Descoperiți că rata de conversie pentru noul buton verde (5,2%) depășește originalul (4,8%) cu un nivel de încredere de 90%.

Emoționat, declarați butonul verde câștigător și îl faceți pagina implicită.

Două săptămâni mai târziu, șeful tău apare la birou cu întrebări despre o scădere mare a conversiilor. Când vă verificați datele, vedeți datele din ultimele două săptămâni indică faptul că culoarea butonului CTA original a fost de fapt câștigătoarea.

Ce s-a întâmplat? Chiar dacă experimentul a dat un rezultat semnificativ statistic cu un interval de încredere de 90%, asta înseamnă totuși că 10% din timp concluzia la care a ajuns experimentul va fi de fapt greșită sau va provoca falsuri pozitive.

Cum să evitați erorile de tip 1
Puteți ajuta la evitarea tipului 1 ridicând nivelul de semnificație necesar înainte de a lua o decizie (adică 95% sau 99%) și rulați experimentul mai mult timp pentru a colecta mai multe date. Cu toate acestea, statisticile nu ne pot spune niciodată cu 100% certitudine dacă o versiune a unei pagini web este cea mai bună. Statisticile pot oferi doar probabilitate, nu certitudine.

Aceasta înseamnă că testele A / B sunt inutile? Deloc. Chiar dacă există întotdeauna șansa de a face o eroare de tip 1, statistic vorbind, veți avea dreptate de cele mai multe ori dacă setați un interval de încredere suficient de mare. La fel ca în inginerie și alte discipline, certitudinea absolută nu este posibilă, dar stabilind intervalul corect de încredere putem reduce riscul de a comite o eroare la un interval acceptabil.