¿Qué es el error familiar?

El error familiar (FWER) es la probabilidad de cometer al menos un error de tipo uno (resultado falso positivo) al realizar múltiples pruebas estadísticas simultáneamente. En el contexto de pruebas A/B, si verificamos varias hipótesis o métricas, la probabilidad total de rechazar incorrectamente al menos una hipótesis nula verdadera aumenta.

Por ejemplo, si realizamos 20 pruebas independientes con un nivel de significancia de 0.05, la probabilidad de obtener al menos un resultado falso positivo será mucho mayor que el 5%. Para controlar el FWER, se aplican correcciones, como el método de Bonferroni, que reduce el nivel de significancia para cada prueba individual, de modo que la probabilidad total de error se mantenga en el nivel establecido.