Šta je problem peeking u A/B testovima?

Проблем peeking у А/B тестовима је ситуација у којој експериментатор више пута проверава међузначајне резултате теста и доноси одлуке о његовом заустављању или изменама на основу тих прелиминарних података.

Проблем је што честе провере повећавају вероватноћу лажно позитивних резултата (грешка првог рода), односно могућност да се погрешно закључи да је једна верзија боља, иако је у ствари случајност.

Да би се избегла проблема peeking, користе се методе корекције нивоа значајности (нпр. корекције за множење поређења) или се планују фиксне тачке анализа података унапред.