Что хотят услышать интервьюеры:

Правильная метрика должна отражать цель команды и быть связана с бизнес-результатом, а не только с активностью. Хорошая метрика помогает принимать решения и менять поведение команды в нужную сторону. Важно выбрать не одну цифру, а набор: основную метрику, защитные метрики и, при необходимости, операционные индикаторы.

Определение:

Правильная метрика — это измеримый показатель, который соответствует цели команды, понятен исполнителям, на него можно влиять и по нему можно судить об улучшении или ухудшении результата. Для продуктовой команды метрика должна отражать ценность для пользователя и/или бизнеса, а не только количество выполненных задач.

Обычно метрика выбирается от ответа на вопросы: что команда пытается улучшить, какой результат считается успехом, какие побочные эффекты нужно контролировать. Если метрика не ведёт к действию, её сложно считать полезной.

Пример использования:

Если команда работает над удержанием пользователей в мобильном приложении, плохим выбором будет смотреть только на количество пуш-уведомлений или число релизов. Более подходящий вариант — удержание D7 или D30, а в качестве защитных метрик — количество отписок от пушей, краши и жалобы пользователей.

Цель команды: повысить возврат пользователей в приложение.
Основная метрика: D7 retention.
Защитные метрики: crash rate, unsubscribe rate, NPS/жалобы.
Операционные метрики: CTR пушей, число активированных сценариев.

Пояснение кода:

Код не требуется. На примере это можно разложить так: сначала формулируется цель команды, затем выбирается одна ключевая метрика, которая прямо показывает прогресс к этой цели. После этого добавляются защитные метрики, чтобы не оптимизировать основной показатель ценой ухудшения опыта пользователя. И уже отдельно можно смотреть операционные метрики, чтобы понимать, где именно проседает воронка или процесс.

Ключевые моменты:

Метрика должна быть привязана к цели, а не к удобству измерения.
Лучше выбирать метрику результата, а не метрику активности.
У одной команды обычно есть одна основная метрика и несколько защитных.
Метрика должна быть понятна всей команде и влиять на решения.
Хорошая метрика не стимулирует локальную оптимизацию в ущерб продукту.
Для выбора метрики полезно начинать с бизнес-цели, пользовательской ценности и возможных рисков.

Как выбрать правильную метрику для команды?