Τι είναι το σφάλμα familywise;

Το σφάλμα οικογένειας (FWER) είναι η πιθανότητα να πραγματοποιηθεί τουλάχιστον ένα σφάλμα πρώτου τύπου (ψευδώς θετικό αποτέλεσμα) κατά τη διάρκεια πολλαπλών στατιστικών δοκιμών ταυτόχρονα. Στο πλαίσιο των δοκιμών A/B, εάν ελέγχουμε πολλές υποθέσεις ή μετρήσεις, η συνολική πιθανότητα να απορρίψουμε εσφαλμένα τουλάχιστον μία αληθινή μηδενική υπόθεση αυξάνεται.

Για παράδειγμα, αν πραγματοποιήσουμε 20 ανεξάρτητες δοκιμές με επίπεδο σημαντικότητας 0,05, η πιθανότητα να λάβουμε τουλάχιστον ένα ψευδώς θετικό αποτέλεσμα θα είναι πολύ μεγαλύτερη από 5%. Για τον έλεγχο του FWER, εφαρμόζονται διορθώσεις, όπως η μέθοδος Bonferroni, που μειώνει το επίπεδο σημαντικότητας για κάθε μεμονωμένη δοκιμή, ώστε η συνολική πιθανότητα σφάλματος να παραμένει στο καθορισμένο επίπεδο.