Multivariate testing

O tehnică pentru testarea unei ipoteze în care sunt modificate mai multe variabile, pentru a determina cea mai bună combinație de variații ale acelor elemente ale unui site web sau ale unei aplicații mobile.

Site-urile web și aplicațiile mobile sunt formate din combinații de elemente schimbabile. Un test multivariat va schimba mai multe elemente, cum ar fi schimbarea unei imagini și a titlului în același timp. Trei variante ale imaginii și două variante ale titlului sunt combinate pentru a crea șase versiuni ale conținutului, care sunt testate concomitent pentru a găsi varianta câștigătoare.

Numărul total de variații într-un test multivariant va fi întotdeauna:

[# de variații ale elementului A] X [# de variații ale elementului B] ... = [numărul total de variații]

În exemplul de mai jos, titlul și imaginea sunt testate în combinație, cu o linie de bază și o variantă pentru fiecare element generând patru variații totale pentru experiment.

Procesul de executare a unui test multivariant este similar cu testul A / B split, dar diferit prin faptul că testarea A / B testează doar o variabilă. Într-un test A / B, se testează cel puțin o variabilă pentru a determina efectul unei modificări la o singură variabilă. Într-un test multivariant, mai multe variabile sunt testate împreună pentru a descoperi combinația ideală care este eficientă în îmbunătățirea obiectivului final.

Avantajele testării multivariate
Utilizarea testării multivariate poate fi utilă atunci când mai multe elemente de pe aceeași pagină pot fi schimbate în tandem pentru a îmbunătăți un singur obiectiv de conversie: înscrieri, clicuri, completări de formulare sau partajări. Dacă este efectuat corect, un test multivariat poate elimina necesitatea de a rula mai multe teste A / B secvențiale pe aceeași pagină cu același obiectiv. În schimb, testele sunt executate concomitent cu un număr mai mare de variații într-o perioadă mai scurtă de timp.

Dezavantajele testării multivariate
Cea mai dificilă provocare în executarea testelor multivariate este cantitatea de trafic de vizitatori necesară pentru a ajunge la rezultate semnificative. Datorită naturii complet factoriale a acestor teste, numărul de variații dintr-un test se poate adăuga rapid. Rezultatul unui test cu mai multe variații este că traficul alocat fiecărei variații este mai mic. În testarea A / B, traficul pentru un experiment este împărțit la jumătate, 50% din trafic vizitând fiecare variantă. Într-un test multivariat, traficul va fi împărțit în sferturi, șase, optimi sau chiar segmente mai mici, cu variații care primesc o porțiune de trafic mult mai mică decât într-un simplu test A / B.

Înainte de a rula un test multivariat, proiectați dimensiunea eșantionului de trafic de care veți avea nevoie pentru fiecare variantă, pentru a ajunge la un rezultat semnificativ statistic. Dacă traficul către pagina pe care doriți să o testați este redus, luați în considerare utilizarea unui test A / B în locul unui test multivariant.

O altă provocare a testării multivariate este atunci când una sau mai multe dintre variabilele testate nu au un efect măsurabil asupra obiectivului de conversie. De exemplu, dacă variațiile unei imagini pe o pagină de destinație nu afectează obiectivul de conversie, în timp ce modificările aduse unui titlu, testul ar fi fost mai eficient efectuat ca test A / B, mai degrabă decât ca test multivariant.

Exemple de testare multivariată
Exemple comune de teste multivariate includ:

Testarea împreună a textului și a elementelor vizuale pe o pagină web
Testarea împreună a textului și a culorii unui buton CTA
Testarea numărului de câmpuri de formular și a textului CTA împreună
Utilizarea testării multivariate ca metodă de optimizare a site-ului web este o metodă puternică de colectare a datelor despre vizitatori și utilizatori, care oferă informații detaliate despre comportamentul complex al clienților. Datele descoperite în testarea multivariată elimină îndoielile și incertitudinea din optimizarea site-ului web. Testarea continuă, implementarea variantelor câștigătoare și construirea de informații de testare pot duce la câștiguri semnificative de conversie.