Čo je štatistická sila?

Štatistická sila je pravdepodobnosť správneho zamietnutia nulovej hypotézy, keď je hypotéza alternatívna pravdivá, teda pravdepodobnosť odhalenia skutočného efektu v dátach. V kontexte A/B testov znamená vysoká štatistická sila, že test je schopný odhaliť významné rozdiely medzi variantami, ak také existujú. Nízka sila zvyšuje riziko chyby typu II — že si nevšimneme existujúci rozdiel. Na zvýšenie sily možno zväčšiť veľkosť vzorky, znížiť variabilitu dát alebo zvýšiť efekt, ktorý sa snažíme odhaliť.