Qu'est-ce qu'un intervalle de confiance?

L’intervalle de confiance (confidence interval) est une plage de valeurs qui, avec une probabilité donnée (par exemple, 95%), contient la véritable valeur du paramètre dans la population générale. Dans le contexte des tests A/B, il aide à évaluer la fiabilité des résultats obtenus et dans quelle mesure ils peuvent être généralisés à l’ensemble de l’audience.

Par exemple, si nous mesurons la différence de conversion entre deux variantes et obtenons un intervalle de confiance à 95% allant de 1% à 5%, cela signifie qu’avec une probabilité de 95%, l’amélioration réelle de la conversion se trouve dans cette plage. Si l’intervalle inclut 0, il se peut qu’il n’y ait pas de différence statistiquement significative.