Cos'è la potenza statistica?

La potenza statistica è la probabilità di rifiutare correttamente l'ipotesi nulla quando l'ipotesi alternativa è vera, cioè la probabilità di rilevare un effetto reale nei dati. Nel contesto dei test A/B, un'alta potenza statistica significa che il test è in grado di individuare differenze significative tra le varianti se queste esistono realmente. Una bassa potenza aumenta il rischio di errore di tipo II — non rilevare una differenza esistente. Per aumentare la potenza, si può aumentare la dimensione del campione, ridurre la variabilità dei dati o aumentare l'effetto che si cerca di rilevare.