Ce este problema de vizualizare în testele A/B?

Problema de peeking în testele A/B este o situație în care experimentatorul verifică în mod repetat rezultatele intermediare ale testului și ia decizii privind oprirea sau modificarea acestuia pe baza acestor date preliminare.

Problema este că verificările frecvente cresc probabilitatea rezultatelor fals pozitive (eroare de primul tip), adică se poate concluziona greșit că o versiune este mai bună, deși în realitate este o întâmplare.

Pentru a evita problema de peeking, se utilizează metode de corectare a nivelului de semnificație (de exemplu, corecții pentru comparații multiple) sau se planifică dinainte puncte fixe de analiză a datelor.