Co zrobić, jeśli test wykazał wynik zerowy?

Jeśli test A/B wykazał wynik zerowy (czyli brak statystycznie istotnej różnicy między wariantami), warto:

• Sprawdzić poprawność przeprowadzenia testu: prawidłowość doboru próbki, czas trwania testu, metryki.
• Ocenić, czy test był wystarczająco mocny (analiza mocy), aby wykryć efekt.
• Przeanalizować hipotezę: być może zmiany rzeczywiście nie wpływają na zachowanie użytkowników.
• Rozważyć przeprowadzenie dodatkowych testów z innymi zmianami lub na innych segmentach odbiorców.
• Wykorzystać uzyskane dane do podejmowania decyzji — brak efektu to także ważna informacja.

W związku z tym, wynik zerowy nie jest porażką, lecz informacją do dalszych działań i ulepszeń.