Τι να κάνετε αν το τεστ έδειξε μηδενικό αποτέλεσμα;

Αν το A/B τεστ έδειξε μηδενικό αποτέλεσμα (δηλαδή, δεν υπάρχει στατιστικά σημαντική διαφορά μεταξύ των παραλλαγών), συνιστάται:

• Να ελέγξετε την ορθότητα της διεξαγωγής του τεστ: την καταλληλότητα του δείγματος, τη διάρκεια του τεστ, τις μετρήσεις.
• Να αξιολογήσετε αν το τεστ ήταν αρκετά ισχυρό (ανάλυση ισχύος) για την ανίχνευση ενός αποτελέσματος.
• Να αναλύσετε την υπόθεση: ίσως οι αλλαγές δεν επηρεάζουν πραγματικά τη συμπεριφορά των χρηστών.
• Να εξετάσετε το ενδεχόμενο διεξαγωγής επιπλέον τεστ με άλλες αλλαγές ή σε άλλα τμήματα του κοινού.
• Να χρησιμοποιήσετε τα δεδομένα που συλλέξατε για να πάρετε αποφάσεις — η απουσία αποτελέσματος είναι επίσης μια σημαντική πληροφορία.

Έτσι, ένα μηδενικό αποτέλεσμα δεν είναι αποτυχία, αλλά μια πληροφορία για μελλοντικές ενέργειες και βελτιώσεις.