Cos'è il problema del peeking nei test A/B?

Il problema del 'peeking' nei test A/B è una situazione in cui l'esperimento ripetutamente controlla i risultati intermedi del test e prende decisioni sulla sua interruzione o modifica sulla base di questi dati preliminari.

Il problema è che controlli frequenti aumentano la probabilità di risultati falsamente positivi (errore di primo tipo), cioè si può erroneamente ritenere che una versione sia migliore, anche se in realtà si tratta di una casualità.

Per evitare il problema del 'peeking', si utilizzano metodi di correzione del livello di significatività (ad esempio, correzioni per confronti multipli) o si pianificano in anticipo punti fissi di analisi dei dati.