Ko darīt, ja tests parādīja nulles rezultātu?

Ja A/B tests parādīja nulles rezultātu (t.i., nav statistiski nozīmīgas atšķirības starp variantiem), ieteicams:

• Pārbaudīt testa pareizību: izlases piemērotību, testa ilgumu, metriku.
• Novērtēt, vai tests bija pietiekami spēcīgs (jaudas analīze), lai atklātu efektu.
• Analizēt hipotēzi: iespējams, izmaiņas patiešām neietekmē lietotāju uzvedību.
• Apsvērt papildu testu veikšanu ar citām izmaiņām vai citās auditorijas segmentos.
• Izmantot iegūtos datus lēmumu pieņemšanai — efekta neesamība arī ir svarīga informācija.

Tādējādi, nulles rezultāts nav neveiksme, bet informācija par turpmākajiem soļiem un uzlabojumiem.