Ką daryti, jei testas pablogino metrikas?

Jei A/B testo rezultatuose metrikos pablogėjo, svarbu nepanikuoti, o atlikti išsamią analizę:

• Patikrinti duomenų tikslumą ir statistinį reikšmingumą.
• Analizuoti, kurios metrikos tiksliai pablogėjo ir kodėl — galbūt pakeitimas paveikė naudotojo patirtį ar techninį stabilumą.
• Įvertinti, ar yra išoriniai veiksniai, galėję paveikti rezultatus (sezoniškumas, rinkodaros kampanijos ir kt.).
• Jei reikia, atšaukti pakeitimus, kad produktas nebūtų pablogintas naudotojams.
• Išmokti pamokas: suprasti, kas neveikė, ir naudoti šias žinias būsimuose eksperimentuose.

Taip metrikos pablogėjimas yra signalas analizei ir tobulinimui, o ne tik priežastis atsisakyti idėjos.