Как се нарича типът тест, при който не може без автоматизирано тестване?

Мониторинг на производителността и тестове за натоварване в реални условия на експлоатация / производство.

Примери могат да бъдат:

• Мониторинг на метрики за производителност: Време за реакция, пропускателна способност, използване на ресурси (CPU, RAM) на сървъра.
• Тестване на стабилност при голям товар: Имитация на голям брой паралелни потребители или заявки за откриване на точки на отказ или деградация на производителността.
• Тестване на мащабируемост: Проверка на поведението на системата при увеличаване на натоварването или ресурсите.
• A/B тестове в производството: Сравняване на две версии на функционалност на част от реалните потребители за оценка на тяхното въздействие върху ключови метрики.

Тези видове тестове изискват непрекъснато събиране на данни, генериране на синтетично натоварване или анализ на поведението на реалните потребители в голям мащаб, което практически е невъзможно да се извърши ръчно. Резултатите от такива тестове често се използват за вземане на решения относно издаването на нови версии, мащабиране на инфраструктурата или оптимизация на кода.

Пример за инструмент за мониторинг в production:

{
  "service_name": "my-web-service",
  "metrics": {
    "request_duration_ms": {
      "average": 150,
      "p95": 300,
      "max": 1200
    },
    "error_rate_percentage": 0.5,
    "cpu_utilization_percentage": 65
  }
}