Hogyan nevezik azt a teszt típusát, amelynél elkerülhetetlen az automatizált teszt?

Teljesítményfigyelés és terheléses tesztelés valós üzemeltetési / produkciós körülmények között.

Példák lehetnek:

• Teljesítménymutatók figyelése: Válaszidő, áteresztőképesség, erőforrások (CPU, RAM) használata a szerveren.
• Stabilitási teszt nagy terhelés alatt: Nagyszámú párhuzamos felhasználó vagy kérés szimulálása a hibák vagy a teljesítmény romlásának felismerése érdekében.
• Skálázhatósági teszt: A rendszer viselkedésének ellenőrzése a terhelés vagy erőforrások növelésekor.
• A/B tesztelés a produkcióban: Két funkcióverzió összehasonlítása a valódi felhasználók egy részén, hogy értékeljük hatásukat a kulcsfontosságú metrikákra.

Ezek a tesztek folyamatos adatgyűjtést, szintetikus terhelés generálását vagy a valódi felhasználók viselkedésének nagy léptékű elemzését igénylik, ami gyakorlatilag kézi módszerekkel nem kivitelezhető. Az ilyen tesztek eredményeit gyakran használják új verziók kiadásáról, infrastruktúra skálázásáról vagy kód optimalizálásáról szóló döntésekhez.

Példa egy monitoring eszközre a production környezetben:

{
  "service_name": "my-web-service",
  "metrics": {
    "request_duration_ms": {
      "average": 150,
      "p95": 300,
      "max": 1200
    },
    "error_rate_percentage": 0.5,
    "cpu_utilization_percentage": 65
  }
}