Τι είναι η στατιστική ισχύς;

Η στατιστική ισχύς είναι η πιθανότητα σωστά να απορρίψουμε την μηδενική υπόθεση όταν η εναλλακτική υπόθεση είναι αληθής, δηλαδή η πιθανότητα να ανιχνεύσουμε ένα πραγματικό αποτέλεσμα στα δεδομένα. Στο πλαίσιο των δοκιμών A/B, μια υψηλή στατιστική ισχύς σημαίνει ότι η δοκιμή μπορεί να εντοπίσει σημαντικές διαφορές μεταξύ των παραλλαγών, εάν αυτές υπάρχουν πραγματικά. Μια χαμηλή ισχύς αυξάνει τον κίνδυνο λάθους δεύτερου τύπου — να μην παρατηρήσουμε μια υπάρχουσα διαφορά. Για να αυξήσουμε την ισχύ, μπορούμε να αυξήσουμε το μέγεθος δείγματος, να μειώσουμε την μεταβλητότητα των δεδομένων ή να αυξήσουμε το αποτέλεσμα που προσπαθούμε να ανιχνεύσουμε.