Qu'est-ce que la signification statistique?

La signification statistique (statistical significance) est une mesure de la différence entre les résultats obtenus lors d'une expérience (par exemple, un test A/B) et les fluctuations aléatoires, et peut être considérée comme fiable.

Si le résultat est statistiquement significatif, cela signifie que la probabilité d'obtenir ces données par hasard est très faible (généralement moins de 5%). Cela aide à décider si le changement influence réellement la métrique ou s'il s'agit d'un bruit aléatoire.

Par exemple, si dans un test A/B, la conversion dans le groupe B est plus élevée et la valeur p est inférieure à 0,05, on peut affirmer avec certitude que l'amélioration n'est pas accidentelle.