Τι είναι το διάστημα εμπιστοσύνης;

Το διάστημα εμπιστοσύνης (confidence interval) είναι ένα εύρος τιμών που, με μια δεδομένη πιθανότητα (π.χ., 95%), περιέχει την πραγματική τιμή του παραμέτρου στον γενικό πληθυσμό. Στο πλαίσιο των δοκιμών A/B, βοηθά στην αξιολόγηση του πόσο αξιόπιστα είναι τα αποτελέσματα που έχουν ληφθεί και σε ποιο βαθμό μπορούν να γενικευθούν σε ολόκληρο το κοινό.

Για παράδειγμα, αν μετράμε τη διαφορά στη μετατροπή μεταξύ δύο παραλλαγών και λαμβάνουμε ένα διάστημα εμπιστοσύνης 95% από 1% έως 5%, αυτό σημαίνει ότι με πιθανότητα 95%, η πραγματική βελτίωση στη μετατροπή βρίσκεται σε αυτό το εύρος. Αν το διάστημα περιλαμβάνει το 0, μπορεί να μην υπάρχει στατιστικά σημαντική διαφορά.