Kaip pasirinkti testus regresinio testavimo atlikimui?

Pasirinkdamas regresinius testus, vadovaujuosi šiais kriterijais:

• Kritinių verslo procesų apimantys testai: tikrina pagrindines funkcijas, nuo kurių priklauso sistemos veikimas.
• Daugiausiai pakeitimų turinčios sritys: sutelkiama į sistemos dalis, paveiktas paskutinių pakeitimų ar patobulinimų.
• Dažnai pasitaikančių defektų sritys: apima scenarijus, kuriuose anksčiau buvo nustatyti defektai.
• Naujos funkcionalybės apimantys testai: tikrina pridėtų galimybių teisingą veikimą ir jų integraciją su esama sistema.
• Modulių tarpusavio integracijos testai: įsitikinama, kad skirtingos sistemos dalys veikia teisingai.
• Sudėtingiausių ir rizikingiausių sričių testai: skirti nestabiliausiems segmentams, kur yra didelė problemų atsiradimo tikimybė.
• Automatizuoti testai: automatizuoti testai yra idealus pasirinkimas regresijai dėl jų greičio ir patikimumo.

Efektyviam testų pasirinkimui taip pat naudoju:

• Kodo bazės pokyčių analizę.
• Defektų istorijos ir jų lokalizacijos duomenis.
• Funkcionalumų prioritetizavimą, dalyvaujant produktų valdymui.
• Anksčiau atliktų regresinių testų rezultatus.

Priklausomai nuo pokyčių masto ir turimų išteklių, galiu pasirinkti pilną regresinių testų rinkinį arba dalinį (smoke, sanity). Pasirinkus dalinį, teikiu pirmenybę testams, apimantiems pagrindinius ir rizikingiausius scenarijus.

Pavyzdinė automatizuotų regresinių testų katalogo struktūra:

# tests/
#   regression/
#     critical_paths/
#       test_login.py
#       test_create_order.py
#     new_features/
#       test_new_payment_method.py
#     bug_fixes/
#       test_fixed_issue_123.py
#     integration/
#       test_order_payment_flow.py
#     smoke/
#       test_basic_ui_elements.py
#   ... kiti testų tipai