Co je problém peeking v A/B testech?

Problém peeking v A/B testech je situace, kdy experimentátor opakovaně kontroluje mezilehlé výsledky testu a na základě těchto předběžných dat rozhoduje o jeho ukončení nebo změně.

Problém spočívá v tom, že časté kontroly zvyšují pravděpodobnost falešně pozitivních výsledků (chyba prvního druhu), tedy může dojít k mylnému závěru, že jedna verze je lepší, ačkoliv ve skutečnosti je to náhoda.

Aby se předešlo problému peeking, používají se metody korekce úrovně významnosti (například korekce pro vícenásobné srovnání) nebo se plánují pevné body analýzy dat předem.