Kaip vadinamas testavimo tipas, kai be automatizuotų testų neįmanoma?

Veiklos sąlygomis / gamyboje veikimo stebėjimas ir apkrovos testai.

Pavyzdžiai gali būti:

• Veiklos metrikų stebėjimas: Atsako laikas, pralaidumas, serverio išteklių (CPU, RAM) naudojimas.
• Stabilumo testavimas esant dideliam apkrovimui: Didelio skaičiaus vienalaikių vartotojų ar užklausų simuliavimas, siekiant nustatyti klaidų taškus ar našumo sumažėjimą.
• Mastelio didinimo testai: Sistemos elgsenos patikrinimas didėjant apkrovai ar ištekliams.
• A/B testavimas gamyboje: Dviejų funkcijų versijų palyginimas daliai tikrų vartotojų, siekiant įvertinti jų poveikį pagrindinėms metrikoms.

Šie testai reikalauja nuolatinio duomenų rinkimo, sintetinių apkrovų generavimo ar tikrų vartotojų elgsenos analizės dideliu mastu, kas praktiškai neįmanoma rankiniu būdu. Tokios testų rezultatai dažnai naudojami sprendžiant dėl naujų versijų išleidimo, infrastruktūros mastelio keitimo ar kodo optimizavimo.

Pavyzdys gamybinio stebėjimo įrankio:

{
  "service_name": "my-web-service",
  "metrics": {
    "request_duration_ms": {
      "average": 150,
      "p95": 300,
      "max": 1200
    },
    "error_rate_percentage": 0.5,
    "cpu_utilization_percentage": 65
  }
}