Czym jest problem podglądania w testach A/B?

Problem peeking w testach A/B to sytuacja, gdy badacz wielokrotnie sprawdza wyniki pośrednie testu i podejmuje decyzje o jego zatrzymaniu lub zmianie na podstawie tych wstępnych danych.

Problem polega na tym, że częste kontrole zwiększają prawdopodobieństwo wyników fałszywie pozytywnych (błąd pierwszego rodzaju), czyli można błędnie uznać, że jedna wersja jest lepsza, choć w rzeczywistości jest to przypadek.

Aby uniknąć problemu peeking, stosuje się metody korekty poziomu istotności (np. korekty dla wielokrotnych porównań) lub planuje się z góry stałe punkty analizy danych.