Čo robiť, ak test ukázal nulový výsledok?

Ak A/B test ukázal nulový výsledok (t.j. nie je štatisticky významný rozdiel medzi variantmi), odporúča sa:

• Skontrolovať správnosť vykonania testu: správnosť výberu vzorky, dĺžku testu, metriky.
• Vyhodnotiť, či bol test dostatočne silný (analýza sily) na odhalenie efektu.
• Analyzovať hypotézu: možno zmeny naozaj neovplyvňujú správanie používateľov.
• Zvážiť vykonanie ďalších testov s inými zmenami alebo na iných segmentoch publika.
• Využiť získané údaje na rozhodovanie — absencia efektu je tiež dôležitá informácia.

Takže nulový výsledok nie je neúspech, ale informácia pre ďalšie kroky a zlepšenia.