O que é o problema de espreitar em testes A/B?

O problema de 'peeking' em testes A/B é uma situação em que o experimentador verifica repetidamente os resultados intermediários do teste e toma decisões sobre sua interrupção ou modificação com base nesses dados preliminares.

O problema é que verificações frequentes aumentam a probabilidade de resultados falsamente positivos (erro do primeiro tipo), ou seja, pode-se erroneamente considerar que uma das versões é melhor, embora na verdade seja uma casualidade.

Para evitar o problema de 'peeking', usam-se métodos de correção do nível de significância (por exemplo, ajustes para comparações múltiplas) ou planejam-se pontos fixos de análise de dados com antecedência.