Τι είναι η στατιστική σημαντικότητα;

Η στατιστική σημαντικότητα (statistical significance) είναι ένα μέτρο του πόσο διαφέρουν τα αποτελέσματα ενός πειράματος (π.χ., ένα A/B τεστ) από τυχαίες διακυμάνσεις και μπορούν να θεωρηθούν αξιόπιστα.

Αν το αποτέλεσμα είναι στατιστικά σημαντικό, αυτό σημαίνει ότι η πιθανότητα να ληφθούν τέτοια δεδομένα τυχαία είναι πολύ μικρή (συνήθως λιγότερο από 5%). Αυτό βοηθά στη λήψη αποφάσεων ότι η αλλαγή πραγματικά επηρεάζει τη μέτρηση και δεν είναι απλώς θόρυβος.

Για παράδειγμα, αν σε ένα A/B τεστ η μετατροπή στην ομάδα B είναι υψηλότερη και η τιμή p είναι μικρότερη από 0.05, μπορούμε με βεβαιότητα να πούμε ότι η βελτίωση δεν είναι τυχαία.