Qu'est-ce que le problème de peeking dans les tests A/B?

Le problème de 'peeking' dans les tests A/B est une situation où l'expérimentateur vérifie à plusieurs reprises les résultats intermédiaires du test et prend des décisions sur son arrêt ou sa modification en se basant sur ces données préliminaires.

Le problème est que des vérifications fréquentes augmentent la probabilité de résultats faussement positifs (erreur de premier type), c'est-à-dire qu'on peut conclure à tort qu'une version est meilleure, alors qu'il s'agit en réalité d'une coïncidence.

Pour éviter le problème de 'peeking', on utilise des méthodes de correction du niveau de signification (par exemple, des ajustements pour les comparaisons multiples) ou on planifie à l'avance des points fixes d'analyse des données.