Co je statistická síla?

Statistická síla je pravděpodobnost správného zamítnutí nulové hypotézy, když je hypotéza alternativní pravdivá, tedy pravděpodobnost odhalení skutečného efektu v datech. V kontextu A/B testů znamená vysoká statistická síla, že test je schopen odhalit významné rozdíly mezi variantami, pokud skutečně existují. Nízká síla zvyšuje riziko chyby typu II — že si nevšimneme existujícího rozdílu. Pro zvýšení síly lze zvětšit velikost vzorku, snížit variabilitu dat nebo zvýšit efekt, který se snažíme odhalit.