Wat is statistieke kracht?

Statistische kracht is de waarschijnlijkheid om de nulhypothese correct te verwerpen wanneer de alternatieve hypothese waar is, dat wil zeggen, de waarschijnlijkheid om een echt effect in de gegevens te detecteren. In de context van A/B-tests betekent een hoge statistische kracht dat de test in staat is om significante verschillen tussen de varianten te identificeren als deze daadwerkelijk bestaan. Een lage kracht vergroot het risico op een type II-fout — het niet opmerken van een bestaand verschil. Om de kracht te verhogen, kan men de steekproefgrootte vergroten, de variabiliteit van de gegevens verminderen of het effect dat men probeert te detecteren vergroten.