Τι είναι το πρόβλημα peeking στα A/B τεστ;

Το πρόβλημα του 'peeking' στις δοκιμές A/B είναι μια κατάσταση όπου ο πειραματιστής ελέγχει επανειλημμένα τα ενδιάμεσα αποτελέσματα του τεστ και λαμβάνει αποφάσεις σχετικά με το σταμάτημα ή την αλλαγή του βάσει αυτών των προκαταρκτικών δεδομένων.

Το πρόβλημα είναι ότι οι συχνές έλεγχοι αυξάνουν την πιθανότητα ψευδώς θετικών αποτελεσμάτων (σφάλμα πρώτου τύπου), δηλαδή μπορεί να θεωρηθεί λανθασμένα ότι μια έκδοση είναι καλύτερη, παρόλο που στην πραγματικότητα είναι τυχαίο.

Για να αποφευχθεί το πρόβλημα του 'peeking', χρησιμοποιούνται μέθοδοι διόρθωσης του επιπέδου σημαντικότητας (π.χ., διορθώσεις για πολλαπλές συγκρίσεις) ή προγραμματίζονται προκαταρκτικά σημεία ανάλυσης δεδομένων.