Kas ir peeking problēma A/B testos?

A/B testu peeking problēma ir situācija, kad eksperiments atkārtoti pārbauda starpposma rezultātus un pieņem lēmumu par tā pārtraukšanu vai izmaiņām, balstoties uz šiem priekšlaicīgajiem datiem.

Problēma ir tāda, ka biežas pārbaudes palielina viltus pozitīvu rezultātu (pirmā veida kļūdas) iespējamību, tas ir, var kļūdaini uzskatīt, ka viena versija ir labāka, kaut arī patiesībā tas ir nejaušība.

Lai izvairītos no peeking problēmas, tiek izmantotas korekcijas metodes, kas koriģē nozīmīguma līmeni (piemēram, korekcijas daudzskaitlīgām salīdzināšanām) vai iepriekš plānoti datu analīzes punkti.