Wat is het peeking probleem bij A/B-testen?

Peeking-probleem in A/B-tests is een situatie waarin de onderzoeker herhaaldelijk de tussentijdse resultaten van de test controleert en op basis van deze voorlopige gegevens beslissingen neemt over het stoppen of aanpassen van de test.

Het probleem is dat frequente controles de kans op valse positieven (fout van de eerste soort) vergroten, dat wil zeggen dat men ten onrechte kan concluderen dat een versie beter is, terwijl dit in werkelijkheid toeval is.

Om het peeking-probleem te voorkomen, worden methoden voor correctie van het significantieniveau gebruikt (bijvoorbeeld correcties voor meervoudige vergelijkingen) of worden vaste analysepunten van tevoren gepland.