¿Cómo se llama el tipo de prueba en el que no se puede prescindir de las pruebas automatizadas?

Monitoreo del rendimiento y pruebas de carga en condiciones reales de operación / producción.

Los ejemplos pueden ser:

• Monitoreo de métricas de rendimiento: Tiempo de respuesta, capacidad, uso de recursos (CPU, RAM) del servidor.
• Pruebas de estabilidad bajo alta carga: Simulación de un gran número de usuarios o solicitudes paralelas para identificar puntos de fallo o degradación del rendimiento.
• Pruebas de escalabilidad: Comprobación del comportamiento del sistema al aumentar la carga o los recursos.
• Pruebas A/B en producción: Comparación de dos versiones de funcionalidad en parte de los usuarios reales para evaluar su impacto en métricas clave.

Este tipo de pruebas requiere recopilación continua de datos, generación de carga sintética o análisis del comportamiento de usuarios reales a gran escala, lo cual es prácticamente imposible de hacer manualmente. Los resultados de estas pruebas a menudo se utilizan para tomar decisiones sobre lanzamientos de nuevas versiones, escalado de infraestructura u optimización del código.

Ejemplo de una herramienta para monitoreo en producción:

{
  "service_name": "my-web-service",
  "metrics": {
    "request_duration_ms": {
      "average": 150,
      "p95": 300,
      "max": 1200
    },
    "error_rate_percentage": 0.5,
    "cpu_utilization_percentage": 65
  }
}