Πώς επιλέγετε δοκιμές για την εκτέλεση δοκιμών…

Όταν επιλέγω δοκιμές για τις δοκιμές επαναφοράς, βασίζομαι στα ακόλουθα κριτήρια:

Δοκιμές που καλύπτουν κρίσιμες επιχειρηματικές διαδικασίες: Ελέγχουν τις βασικές λειτουργίες στις οποίες εξαρτάται η λειτουργία του συστήματος.
Δοκιμές που καλύπτουν περιοχές με τον μεγαλύτερο αριθμό αλλαγών: Εστιάζουν στα μέρη του συστήματος που επηρεάστηκαν από τις τελευταίες αλλαγές ή βελτιώσεις.
Δοκιμές που καλύπτουν περιοχές με υψηλή συχνότητα εμφάνισης ελαττωμάτων: Περιλαμβάνουν σενάρια όπου έχουν εντοπιστεί ελαττώματα προηγουμένως.
Δοκιμές που καλύπτουν νέες λειτουργικότητες: Ελέγχουν την ορθή λειτουργία των νέων δυνατοτήτων και την ενσωμάτωσή τους με το υπάρχον σύστημα.
Δοκιμές που καλύπτουν την ενσωμάτωση μεταξύ των μονάδων: Διασφαλίζουν ότι τα διάφορα μέρη του συστήματος αλληλεπιδρούν σωστά.
Δοκιμές που καλύπτουν τα πιο πολύπλοκα και επικίνδυνα μέρη του συστήματος: Απευθύνονται στις πιο ασταθείς περιοχές, όπου υπάρχει υψηλός κίνδυνος προβλημάτων.
Αυτοματοποιημένες δοκιμές: Οι αυτοματοποιημένες δοκιμές είναι η ιδανική επιλογή για την επαναφορά λόγω της ταχύτητας και της αξιοπιστίας τους.

Για αποτελεσματική επιλογή δοκιμών, χρησιμοποιώ επίσης:

Ανάλυση αλλαγών στη βάση κώδικα.
Δεδομένα σχετικά με το ιστορικό ελαττωμάτων και την εντοπιστική τους θέση.
Προτεραιοποίηση λειτουργιών με τη συμμετοχή της διαχείρισης προϊόντος.
Αποτελέσματα προηγούμενων εκτελέσεων δοκιμών επαναφοράς.

Ανάλογα με το εύρος των αλλαγών και τους διαθέσιμους πόρους, μπορώ να επιλέξω ένα πλήρες σύνολο δοκιμών επαναφοράς ή ένα υποσύνολο (smoke, sanity). Κατά την επιλογή υποσυνόλου, δίνω προτεραιότητα σε δοκιμές που καλύπτουν βασικά και πιο επικίνδυνα σενάρια.

Παράδειγμα δομής φακέλων με δοκιμές επαναφοράς (για αυτοματοποιημένες):

# tests/
#   regression/
#     critical_paths/
#       test_login.py
#       test_create_order.py
#     new_features/
#       test_new_payment_method.py
#     bug_fixes/
#       test_fixed_issue_123.py
#     integration/
#       test_order_payment_flow.py
#     smoke/
#       test_basic_ui_elements.py
#   ... άλλοι τύποι δοκιμών

Πώς επιλέγετε δοκιμές για την εκτέλεση δοκιμών επαναφοράς;