Čo je to problém peeking v A/B testoch?

Problém peeking v A/B testoch je situácia, keď experimentátor opakovane kontroluje medzičasy výsledky testu a na základe týchto predbežných dát rozhoduje o jeho ukončení alebo zmene.

Problém spočíva v tom, že časté kontroly zvyšujú pravdepodobnosť falošne pozitívnych výsledkov (chyba prvého druhu), teda môže dôjsť k mylnému záveru, že jedna verzia je lepšia, hoci v skutočnosti je to náhoda.

Aby sa predišlo problému peeking, používajú sa metódy korekcie úrovne významnosti (napríklad korekcie pre viacnásobné porovnania) alebo sa plánujú pevné body analýzy dát vopred.