Kā izvēlēties testus regresijas testēšanai?

Izvēloties regresijas testus, es vadījos šādiem kritērijiem:

• Kritisko biznesa procesu aptveroši testi: pārbauda galvenās funkcijas, no kurām ir atkarīga sistēmas darbība.
• Lielākā izmaiņu skaita apgūtiem apgabaliem: koncentrējas uz sistēmas daļām, kuras ir ietekmējušas nesenās izmaiņas vai uzlabojumi.
• Augsta defektu biežuma apgūtiem apgabaliem: ietver scenārijus, kuros iepriekš ir konstatēti defekti.
• Jaunu funkcionalitāšu testiem: pārbauda pievienoto iespēju pareizu darbību un to integrāciju ar esošo sistēmu.
• Moduļu savstarpējās integrācijas testi: pārliecinās, ka dažādas sistēmas daļas darbojas pareizi.
• Visgrūtāk un riskantāk apgūtiem sistēmas daļām: vērsti uz nestabilākajām vietām, kur ir liela problēmu rašanās iespējamība.
• Automatizētie testi: automatizētie testi ir ideāla izvēle regresijai, ņemot vērā to ātrumu un uzticamību.

Lai efektīvi izvēlētos testus, es arī izmantoju:

• Izmaiņu analīzi koda bāzē.
• Par defektiem un to lokalizāciju vēsturi.
• Funkcionalitāšu prioritātes noteikšanu ar produktu vadības līdzdalību.
• Iepriekšējo regresijas testu rezultātus.

Atkarībā no izmaiņu apjoma un pieejamiem resursiem, es varu izvēlēties pilnu regresijas testu komplektu vai daļēju (smoke, sanity). Izvēloties daļēju, es dodu priekšroku testiem, kas aptver galvenās un visriskantākās scenārijus.

Automatizētu regresijas testu mapju struktūras piemērs:

# tests/
#   regression/
#     critical_paths/
#       test_login.py
#       test_create_order.py
#     new_features/
#       test_new_payment_method.py
#     bug_fixes/
#       test_fixed_issue_123.py
#     integration/
#       test_order_payment_flow.py
#     smoke/
#       test_basic_ui_elements.py
#   ... citi testu tipi