Cos'è la significatività statistica?

La significatività statistica (statistical significance) è una misura di quanto i risultati ottenuti in un esperimento (ad esempio, un test A/B) differiscano dalle fluttuazioni casuali e possano essere considerati affidabili.

Se il risultato è statisticamente significativo, significa che la probabilità di ottenere tali dati per caso è molto bassa (generalmente meno del 5%). Questo aiuta a decidere se il cambiamento influisce realmente sulla metrica o se è solo un rumore casuale.

Ad esempio, se in un test A/B la conversione nel gruppo B è più alta e il valore p è inferiore a 0,05, si può affermare con certezza che il miglioramento non è casuale.