A/B testlərində peeking problemi nədir?

A/B sınaq testlərində peeking problemi, təcrübəçiyə testin ara nəticələrini təkrar-təkrar yoxlamağa və bu ilkin məlumatlara əsaslanaraq dayandırma və ya dəyişiklik qərarı verməyə imkan verən vəziyyətdir.

Problem odur ki, tez-tez yoxlamalar yalnış müsbət nəticələrin (birinci növ səhv) ehtimalını artırır, yəni, əslində bu sadəcə təsadüfi ola bilər və düzgün hesab edilə bilər.

Peeking problemini aradan qaldırmaq üçün, əhəmiyyətlilik səviyyəsinin düzəliş metodları (məsələn, çoxsaylı müqayisələr üçün düzəlişlər) istifadə olunur və ya məlumatların analiz ediləcəyi dəqiq nöqtələr əvvəlcədən planlaşdırılır.