Πώς καθορίζετε αν μια δοκιμή σφάλματος είναι σωστή ή λανθασμένη;

Η ακρίβεια στον ορισμό ενός τεστ σφάλματος (bug fix test) εξαρτάται από τα ακόλουθα στοιχεία:

1. Αναπαραγωγιμότητα: Το τεστ πρέπει να αναπαράγει αξιόπιστα το αρχικό σφάλμα στην έκδοση του προϊόντος πριν τη διόρθωση.
2. Κάλυψη: Το τεστ πρέπει να καλύπτει συγκεκριμένες συνθήκες και σενάρια στα οποία εμφανιζόταν το σφάλμα.
3. Ανεξαρτησία: Το τεστ δεν πρέπει να εξαρτάται από εξωτερικούς παράγοντες ή την κατάσταση του συστήματος που δεν σχετίζονται άμεσα με το σφάλμα.
4. Ατομικότητα: Το τεστ πρέπει να ελέγχει μόνο τη διόρθωση του συγκεκριμένου ανιχνευμένου σφάλματος.
5. Ξεκάθαρο αναμενόμενο αποτέλεσμα: Το αναμενόμενο αποτέλεσμα του τεστ πρέπει να είναι αδιαμφισβήτητο και να αντικατοπτρίζει την επιτυχή διόρθωση του σφάλματος.
6. Σταθερότητα: Το τεστ πρέπει να δίνει συνεπή αποτελέσματα όταν εκτελείται πολλές φορές στην ίδια έκδοση του προϊόντος.
7. Επιστροφή στην αρχική κατάσταση: Το τεστ πρέπει να επαναφέρει καθαρά την αρχική κατάσταση του συστήματος μετά την εκτέλεση.
8. Τεκμηρίωση: Το τεστ πρέπει να είναι σαφώς τεκμηριωμένο, συμπεριλαμβανομένων των βημάτων αναπαραγωγής, του περιβάλλοντος και του αναμενόμενου αποτελέσματος.

Ένα σωστό τεστ σφάλματος πρέπει να περνά στην έκδοση με τη διόρθωση και να αποτυγχάνει στην έκδοση με το σφάλμα (αν αυτό είναι δυνατό να προσομοιωθεί σε περιβάλλον δοκιμών).