Como se chama o tipo de teste em que não é possível dispensar os testes automatizados?

Monitorização de desempenho e testes de carga em condições reais de operação / produção.

Os exemplos podem incluir:

• Monitorização de métricas de desempenho: Tempo de resposta, capacidade, uso de recursos (CPU, RAM) do servidor.
• Testes de estabilidade sob alta carga: Simulação de um grande número de utilizadores ou pedidos paralelos para identificar pontos de falha ou degradação do desempenho.
• Testes de escalabilidade: Verificação do comportamento do sistema ao aumentar a carga ou os recursos.
• Testes A/B em produção: Comparação de duas versões de funcionalidades numa parte dos utilizadores reais para avaliar o seu impacto nas métricas-chave.

Este tipo de testes requer recolha contínua de dados, geração de carga sintética ou análise do comportamento de utilizadores reais em grande escala, o que é praticamente impossível de fazer manualmente. Os resultados destes testes são frequentemente utilizados para tomar decisões sobre lançamentos de novas versões, escalonamento de infraestrutura ou otimização do código.

Exemplo de uma ferramenta para monitorização em produção:

{
  "service_name": "my-web-service",
  "metrics": {
    "request_duration_ms": {
      "average": 150,
      "p95": 300,
      "max": 1200
    },
    "error_rate_percentage": 0.5,
    "cpu_utilization_percentage": 65
  }
}