Как называется тип тестирования, при котором невозможно обойтись без автоматизированного тестирования?

Мониторинг производительности и нагрузочное тестирование в реальных условиях эксплуатации / production.

Примерами могут быть:

• Мониторинг метрик производительности: Время отклика, пропускная способность, использование ресурсов (CPU, RAM) сервера.
• Тестирование стабильности при высокой нагрузке: Имитация большого количества параллельных пользователей или запросов для выявления точек отказа или деградации производительности.
• Тестирование масштабируемости: Проверка поведения системы при увеличении нагрузки или ресурсов.
• A/B тестирование в продакшене: Сравнение двух версий функционала на части реальных пользователей для оценки их влияния на ключевые метрики.

Эти типы тестирования требуют непрерывного сбора данных, генерации синтетической нагрузки или анализа поведения реальных пользователей в большом масштабе, что практически неосуществимо вручную. Результаты такого тестирования часто используются для принятия решений о выпуске новых версий, масштабировании инфраструктуры или оптимизации кода.

Пример инструмента для мониторинга в production:

{
  "service_name": "my-web-service",
  "metrics": {
    "request_duration_ms": {
      "average": 150,
      "p95": 300,
      "max": 1200
    },
    "error_rate_percentage": 0.5,
    "cpu_utilization_percentage": 65
  }
}