A/B testlerinde peeking problemi nedir?

A/B testlerinde peeking problemi, deneycinin testin ara sonuçlarını tekrar tekrar kontrol ettiği ve bu ön veriler temelinde durdurma veya değiştirme kararı aldığı bir durumdur.

Sorun, sık sık kontrollerin yanlış pozitif sonuçların (birinci tür hata) olasılığını artırmasıdır, yani aslında rastlantısal olmasına rağmen bir versiyonun daha iyi olduğunu yanlışlıkla kabul edebiliriz.

Peeking probleminden kaçınmak için, anlamlılık seviyesinin düzeltilmesi yöntemleri (örneğin, çoklu karşılaştırmalar için düzeltmeler) kullanılır veya veri analiz noktaları önceden planlanır.