Cos'è l'errore familywise?

Errore familiare (FWER) è la probabilità di commettere almeno un errore di primo tipo (risultato falso positivo) durante l'esecuzione di più test statistici contemporaneamente. Nel contesto dei test A/B, se verificiamo più ipotesi o metriche, la probabilità complessiva di rifiutare erroneamente almeno una ipotesi nulla vera aumenta.

Ad esempio, se si eseguono 20 test indipendenti con un livello di significatività dello 0,05, la probabilità di ottenere almeno un risultato falso positivo sarà molto superiore al 5%. Per controllare il FWER, si applicano correzioni come il metodo di Bonferroni, che riduce il livello di significatività per ogni singolo test affinché la probabilità totale di errore rimanga al livello stabilito.