¿Qué es el problema de peeking en las pruebas A/B?

El problema de 'peeking' en las pruebas A/B es una situación en la que el experimentador revisa repetidamente los resultados intermedios de la prueba y toma decisiones sobre su detención o modificación basándose en estos datos preliminares.

El problema es que las revisiones frecuentes aumentan la probabilidad de resultados falsamente positivos (error de primer tipo), es decir, se puede concluir erróneamente que una versión es mejor, aunque en realidad sea una casualidad.

Para evitar el problema de 'peeking', se utilizan métodos de corrección del nivel de significancia (por ejemplo, ajustes para comparaciones múltiples) o se planifican puntos fijos de análisis de datos con anticipación.