O que é o erro familiar?

Erro familiar (FWER) é a probabilidade de cometer pelo menos um erro do primeiro tipo (resultado falso positivo) ao realizar múltiplos testes estatísticos simultaneamente. No contexto de testes A/B, se verificarmos várias hipóteses ou métricas, a probabilidade total de rejeitar incorretamente pelo menos uma hipótese nula verdadeira aumenta.

Por exemplo, se realizarmos 20 testes independentes com um nível de significância de 0,05, a probabilidade de obter pelo menos um resultado falso positivo será muito maior que 5%. Para controlar o FWER, aplicam-se correções, como o método de Bonferroni, que reduz o nível de significância para cada teste individual, de modo que a probabilidade total de erro permaneça no nível estabelecido.