Kuidas nimetatakse testimise tüüpi, milles ilma automatiseeritud testideta on võimatu?

Tulemuslikkuse jälgimine ja koormustestid reaalsetes töötingimustes / tootmises.

Näited võivad olla:

• Tulemuste mõõdikute jälgimine: Vastamise aeg, läbilaskevõime, serveri ressursside (CPU, RAM) kasutus.
• Stabiilsuse testimine suure koormuse all: Suure arvu paralleelsete kasutajate või päringute simulatsioon, et tuvastada tõrkeid või jõudluse langust.
• Skaleeritavuse testimine: Süsteemi käitumise kontroll suureneva koormuse või ressursside korral.
• A/B testimine tootmises: Kaks funktsiooni versiooni võrdlus osa reaalseid kasutajaid, et hinnata nende mõju võtmetulemuste näitajatele.

Sellised testid nõuavad pidevat andmete kogumist, sünteetilise koormuse loomist või reaalse kasutaja käitumise analüüsi suurel skaalal, mis praktiliselt on käsitsi teostamatu. Selliste testide tulemusi kasutatakse sageli otsuste tegemisel uute versioonide väljalaskes, infrastruktuuri skaleerimisel või koodi optimeerimisel.

Näide tootmise jälgimisvahendist:

{
  "service_name": "my-web-service",
  "metrics": {
    "request_duration_ms": {
      "average": 150,
      "p95": 300,
      "max": 1200
    },
    "error_rate_percentage": 0.5,
    "cpu_utilization_percentage": 65
  }
}