Что такое peeking problem в A/B-тестах?

Peeking problem в A/B-тестах — это ситуация, когда экспериментатор неоднократно проверяет промежуточные результаты теста и принимает решение о его остановке или изменении на основе этих предварительных данных.

Проблема в том, что частые проверки увеличивают вероятность ложноположительных результатов (ошибок первого рода), то есть можно ошибочно считать, что одна из версий лучше, хотя на самом деле это случайность.

Чтобы избежать peeking problem, используют методы корректировки уровня значимости (например, поправки на множественные сравнения) или планируют фиксированные точки анализа данных заранее.