Mi a statisztikai erő?

A statisztikai erő annak a valószínűsége, hogy helyesen elutasítjuk a nullhipotézist, amikor az alternatív hipotézis igaz, azaz a valós hatás felismerésének valószínűsége az adatokban. Az A/B tesztek kontextusában a magas statisztikai erő azt jelenti, hogy a teszt képes felismerni a jelentős különbségeket a változatok között, ha azok valóban léteznek. Az alacsony erő növeli a második típusú hibák kockázatát — a meglévő különbség észrevétlenül marad. Az erő növelése érdekében növelhető a mintaméret, csökkenthető az adatok variabilitása vagy növelhető a felismerni kívánt hatás.