Wat is statistische significantie?

Statistische significantie (statistical significance) is een maat voor hoezeer de resultaten van een experiment (bijvoorbeeld een A/B-test) afwijken van willekeurige schommelingen en als betrouwbaar kunnen worden beschouwd.

Als het resultaat statistisch significant is, betekent dit dat de kans dat zulke gegevens toevallig worden verkregen zeer klein is (meestal minder dan 5%). Dit helpt bij het beslissen of de verandering daadwerkelijk invloed heeft op de metriek of slechts willekeurige ruis is.

Bijvoorbeeld, als bij een A/B-test de conversie in groep B hoger is en de p-waarde minder dan 0,05 is, kan met zekerheid worden gezegd dat de verbetering geen toeval is.