Πώς υπολογίζουμε το μέγεθος δείγματος για μια δοκιμή A/B;

Για τον υπολογισμό του μεγέθους δείγματος σε μια δοκιμή A/B, πρέπει να ληφθούν υπόψη αρκετές παράμετροι:

1. Βασικό ποσοστό μετατροπής (baseline conversion rate) — το τρέχον επίπεδο της μετρικής που θέλετε να βελτιώσετε.
2. Ελάχιστη ανιχνεύσιμη επίδραση (minimum detectable effect, MDE) — η ελάχιστη επίδραση που θέλετε να ανιχνεύσετε.
3. Επίπεδο σημαντικότητας (alpha) — η πιθανότητα λανθασμένης απόρριψης της μηδενικής υπόθεσης (συνήθως 0,05).
4. Ισχύς δοκιμής (power, 1 - beta) — η πιθανότητα ανίχνευσης επίδρασης, εάν υπάρχει (συνήθως 0,8 ή 0,9).

Ο τύπος για τον κατά προσέγγιση υπολογισμό του μεγέθους δείγματος για κάθε ομάδα (A και B) με δυαδική μέτρηση:

[ N = \frac{2 \times (Z_{1-\alpha/2} + Z_{1-\beta})^2 \times p \times (1-p)}{d^2} ]

όπου:

• (p) — βασικό ποσοστό μετατροπής,
• (d) — ελάχιστη ανιχνεύσιμη επίδραση (MDE),
• (Z_{1-\α/2}) και (Z_{1-\beta}) — τιμές των ποσοστιαίων σημείων της κανονικής κατανομής για τα καθορισμένα επίπεδα σημαντικότητας και ισχύος.

Παράδειγμα: αν το βασικό ποσοστό μετατροπής είναι 10% (0,1), MDE 2% (0,02), alpha=0,05, power=0,8, τότε χρησιμοποιώντας πίνακες ή συναρτήσεις κατανομής, μπορεί να προκύψει το απαιτούμενο μέγεθος δείγματος.

Στην πράξη, συχνά χρησιμοποιούνται βιβλιοθήκες ή διαδικτυακοί υπολογιστές για ακριβείς υπολογισμούς, λαμβάνοντας υπόψη τον τύπο της μέτρησης (μετατροπή, μέσος όρος κ.λπ.).