Cos'è il test sequenziale (mSPRT, sempre valido)?

I test sequenziali sono un metodo di test statistico in cui i dati vengono analizzati man mano che arrivano, anziché dopo aver raccolto tutto il volume. Questo permette di prendere decisioni sulla significatività dell'effetto in qualsiasi momento senza dover fissare in anticipo la dimensione del campione.

mSPRT (test modificato di rapporto di probabilità sequenziale) è un criterio di rapporto di probabilità sequenziale modificato che garantisce il controllo del livello di errore di primo tipo durante l'analisi sequenziale dei dati. Permette di effettuare test con la possibilità di fermarsi in qualsiasi momento, mantenendo la validità delle conclusioni statistiche.

I valori p sempre validi sono valori p che rimangono corretti indipendentemente dal numero di verifiche intermedie dei dati. Consentono di effettuare verifiche multiple senza aumentare il rischio di risultati falsi positivi.

L'uso dei test sequenziali è particolarmente utile nei test A/B e negli esperimenti, dove è importante prendere decisioni rapidamente e risparmiare risorse, senza attendere la raccolta completa dei dati.