Что хотят услышать интервьюеры:

Нужен не просто список метрик, а понимание, зачем они нужны и как по ним принимать решения. Важно показать, что метрики помогают управлять качеством, прогрессом тестирования и рисками. Хорошо, если есть опыт использования как продуктовых, так и процессных метрик.

Определение:

Тестовые метрики — это количественные показатели, которые помогают оценивать качество продукта, прогресс тестирования, эффективность команды и уровень рисков. В практике обычно используют метрики покрытия, дефектов, стабильности автотестов и скорости выполнения тестирования. Выбор метрик зависит от цели: контроль качества релиза, оценка состояния тестирования или анализ процесса.

Пример использования:

Например, перед релизом можно отслеживать долю пройденных тест-кейсов, количество открытых дефектов по severity, процент падений автотестов и defect leakage — сколько багов ушло в прод. Если при этом число критических дефектов не снижается, а автотесты часто флакают, релиз лучше остановить и сначала стабилизировать критичные участки.

Пояснение кода:

Код не требуется, так как речь о тестовых метриках и способах их применения.
Пример можно разложить по шагам так:

Собираются данные из тест-менеджмента, баг-трекера и CI.
Считаются показатели: сколько тестов прошло, сколько упало, сколько багов открыто.
Сравниваются тренды с прошлым релизом или спринтом.
По результатам принимается решение: выпускать релиз, добирать тесты или стабилизировать автотесты.

Ключевые моменты:

Полезно различать метрики продукта и метрики процесса тестирования.
Часто используют coverage, pass/fail rate, defect density, defect leakage, test execution progress.
Для автоматизации важны flaky rate, стабильность прогона и время выполнения suite.
Метрики должны помогать принимать решения, а не просто «быть в отчете».
Хорошая метрика всегда привязана к цели: релиз, качество, скорость, риски.

Какими тестовыми метриками ты обладаешь и применяешь в практике?