Mi az a peeking probléma az A/B teszteknél?

A/B tesztekben a peeking probléma olyan helyzet, amikor a kísérletvezető ismételten ellenőrzi a teszt közbenső eredményeit, és ezek alapján dönt a teszt leállításáról vagy módosításáról.

A probléma az, hogy a gyakori ellenőrzések növelik a hamis pozitív eredmények (elsőfajú hibák) valószínűségét, vagyis tévesen azt hihetjük, hogy egyik változat jobb, pedig valójában véletlen eredmény.

A peeking probléma elkerülése érdekében alkalmaznak olyan módszereket, amelyek korrigálják a szignifikanciaszintet (például több összehasonlítás esetén), vagy előre megtervezik az adatelemzési pontokat.