Wat te doen als de test een nulresultaat liet zien?

Als een A/B-test een nulresultaat laat zien (dat wil zeggen, geen statistisch significant verschil tussen de varianten), wordt aanbevolen:

• Controleer de correctheid van de testuitvoering: de juiste steekproef, de duur van de test, de metrics.
• Evalueer of de test krachtig genoeg was (power-analyse) om een effect te detecteren.
• Analyseer de hypothese: misschien beïnvloeden de veranderingen het gebruikersgedrag echt niet.
• Overweeg aanvullende tests met andere wijzigingen of op andere segmenten van de doelgroep.
• Gebruik de verkregen gegevens om beslissingen te nemen — het ontbreken van een effect is ook een belangrijke inzicht.

Dus, een nulresultaat is geen mislukking, maar informatie voor verdere acties en verbeteringen.