Mit tegyél, ha a teszt null eredményt mutat?

Ha az A/B teszt null eredményt mutat (azaz, nincs statisztikailag szignifikáns különbség a változatok között), akkor javasolt:

• Ellenőrizni a teszt helyességét: a mintavétel helyességét, a teszt időtartamát, a metrikákat.
• Értékelni, hogy a teszt elég erős volt-e (hatásvizsgálat) a hatás kimutatásához.
• Elemzi a hipotézist: lehet, hogy a változtatások valóban nem befolyásolják a felhasználók viselkedését.
• További tesztek végrehajtását más változtatásokkal vagy más közönségszegmenseken.
• Az eredmények felhasználása döntéshozatalhoz — a hatás hiánya is fontos információ.

Tehát, a null eredmény nem kudarc, hanem további lépések és fejlesztések információja.