Qu'est-ce que l'erreur familiale?

L’erreur familiale (FWER) est la probabilité de commettre au moins une erreur de premier ordre (résultat faussement positif) lors de la réalisation de plusieurs tests statistiques simultanément. Dans le contexte des tests A/B, si nous vérifions plusieurs hypothèses ou métriques, la probabilité totale de rejeter à tort au moins une hypothèse nulle vraie augmente.

Par exemple, si l’on effectue 20 tests indépendants avec un niveau de signification de 0,05, la probabilité d’obtenir au moins un résultat faussement positif sera bien supérieure à 5 %. Pour contrôler le FWER, des corrections sont appliquées, comme la méthode de Bonferroni, qui réduit le niveau de signification pour chaque test individuel afin que la probabilité globale d’erreur reste au niveau fixé.