Czym jest moc statystyczna?

Moc statystyczna to prawdopodobieństwo poprawnego odrzucenia hipotezy zerowej, gdy hipoteza alternatywna jest prawdziwa, czyli prawdopodobieństwo wykrycia rzeczywistego efektu w danych. W kontekście testów A/B, wysoka moc statystyczna oznacza, że test jest w stanie wykryć istotne różnice między wariantami, jeśli rzeczywiście istnieją. Niska moc zwiększa ryzyko błędu drugiego rodzaju — nie zauważenia istniejącej różnicy. Aby zwiększyć moc, można zwiększyć rozmiar próbki, zmniejszyć zmienność danych lub zwiększyć efekt, który próbujemy wykryć.