A/A Testing

O metodă de comparare a celor două versiuni ale unei pagini web sau a unei aplicații mobile, pentru a testa acuratețea instrumentului de testare.

Ce este testarea A / A?
Testarea A / A utilizează testarea A / B pentru a testa una dintre cele două versiuni identice ale unei pagini. De obicei, acest lucru se face pentru a verifica dacă instrumentul utilizat pentru a rula experimentul este statistic corect. Într-un test A / A, instrumentul nu trebuie să raporteze nicio diferență în conversiile dintre control și variație, dacă testul este implementat corect.

De ce să testăm pagini identice?
În unele cazuri, poate doriți să monitorizați conversiile pe pagină în care efectuați testul A / A pentru a urmări numărul de conversii și a determina rata de conversie de bază înainte de a începe un test A / B sau multivariat.

În majoritatea celorlalte cazuri, testul A / A este o metodă de verificare dublă a eficacității și preciziei software-ului de testare A / B. Ar trebui să căutați dacă software-ul raportează că există o diferență semnificativă statistic (> 95% semnificație statistică) între control și variație. Dacă software-ul raportează că există o diferență semnificativă statistic, aceasta este o problemă. Veți dori să verificați dacă software-ul este corect implementat pe site-ul sau aplicația dvs. mobilă.

Lucruri de reținut cu testarea A / A:
Când rulați un test A / A, este important să rețineți că găsirea unei diferențe în rata de conversie între testele identice și paginile de control este întotdeauna o posibilitate. Aceasta nu este neapărat o reflectare slabă asupra platformei de testare A / B, deoarece există întotdeauna un element aleatoriu atunci când vine vorba de testare.

Când rulați orice test A / B, rețineți că semnificația statistică a rezultatelor dvs. este o probabilitate, nu o certitudine. Chiar și un nivel de semnificație statistică de 95% reprezintă o șansă de 1 din 20 ca rezultatele pe care le vedeți să fie cauzate de o șansă aleatorie. În majoritatea cazurilor, testul dvs. A / A ar trebui să raporteze că îmbunătățirea conversiei dintre control și variație este statistic neconcludentă - deoarece adevărul care stă la baza este că nu există unul de găsit.

Testare optimă a motorului statistic și A / A:
Când rulați un test A / A cu Intelligence Cloud, în majoritatea cazurilor, vă puteți aștepta ca rezultatele testului să fie neconcludente - ceea ce înseamnă că diferența de conversie între variații identice nu va atinge semnificație statistică. De fapt, numărul de teste A / A care arată rezultate neconcludente va fi cel puțin la fel de mare ca pragul de semnificație stabilit în setările dvs. de proiect (90% implicit).

În unele cazuri, totuși, ați putea vedea că o variantă depășește altul sau că un câștigător este declarat pentru unul dintre obiectivele dvs. Rezultatul concludent al acestui experiment are loc pur întâmplător și ar trebui să se întâmple doar în 10% din cazuri, dacă ați stabilit pragul de semnificație la 90%. Dacă pragul de semnificație este mai mare (să zicem 95%), șansele de a întâlni un test A / A concludent sunt chiar mai mici (5%).