Kas yra peeking problema A/B testuose?

A/B testų peeking problema yra situacija, kai eksperimentatorius kartotinai tikrina testavimo tarpinio rezultatus ir priima sprendimus dėl jo sustabdymo ar keitimo remiantis šiais preliminariais duomenimis.

Problema ta, kad dažni patikrinimai padidina klaidingai teigiamų rezultatų (pirmojo tipo klaidos) tikimybę, tai yra, gali būti klaidingai laikoma, kad viena versija yra geresnė, nors iš tikrųjų tai yra atsitiktinumas.

Norint išvengti peeking problemos, naudojami koregavimo metodai reikšmingumo lygiui (pavyzdžiui, kelių palyginimų korekcijos) arba iš anksto planuojami duomenų analizės taškai.