Ko darīt, ja tests pasliktināja metriku?

Ja rezultātos A/B testā metrikas paslikt, ir svarīgi nepanikot, bet veikt rūpīgu analīzi:

• Pārbaudīt datu precizitāti un statistisko nozīmīgumu.
• Analizēt, kuras metrikas tieši pasliktinājās un kāpēc — iespējams, izmaiņas ietekmēja lietotāja pieredzi vai tehnisko stabilitāti.
• Novērtēt, vai ir ārēji faktori, kas varētu ietekmēt rezultātus (sezonālums, mārketinga kampaņas utt.).
• Ja nepieciešams, atgriezt izmaiņas, lai produkts netiktu pasliktināts lietotājiem.
• Mācīties no pieredzes: saprast, kas neizdevās, un izmantot šīs zināšanas nākotnes eksperimentiem.

Tādējādi metrikas pasliktināšanās ir signāls analīzei un uzlabošanai, ne tikai iemesls atteikties no idejas.