Какво е peeking проблемът при A/B тестовете?

Проблемът с peeking в A/B тестовете е ситуация, когато експериментаторът многократно проверява междинните резултати от теста и взема решения за неговото спиране или промяна въз основа на тези предварителни данни.

Проблемът е, че честите проверки увеличават вероятността за фалшиви положителни резултати (грешка от първи род), тоест може да се приеме погрешно, че една от версиите е по-добра, въпреки че всъщност това е случайност.

За да се избегне проблемът с peeking, се използват методи за коригиране на нивото на значимост (например, корекции за множествени сравнения) или се планират фиксирани точки за анализ на данните предварително.