Kas ir familywise kļūda?

Ģimenes kļūda (FWER) ir varbūtība, ka vienlaikus veicot vairākus statistiskos testus, tiks izdarīta vismaz viena pirmā tipa kļūda (nepatiesa pozitīva rezultāta). A/B testu kontekstā, ja pārbaudām vairākas hipotēzes vai metriku, kopējā varbūtība kļūdaini noraidīt vismaz vienu patiesu nulles hipotēzi palielinās.

Piemēram, ja veicam 20 neatkarīgus testus ar nozīmīguma līmeni 0,05, iespēja iegūt vismaz vienu nepatiesi pozitīvu rezultātu būs daudz lielāka par 5%. FWER kontrolei tiek piemērotas korekcijas, piemēram, Bonferroni metode, kas samazina katra testa nozīmīguma līmeni, lai kopējā kļūdas varbūtība paliktu noteiktajā līmenī.