Что хотят услышать интервьюеры:

Counter-metric — это защитная метрика, которая помогает убедиться, что рост основной метрики не достигнут ценой ухудшения продукта или бизнеса. Она показывает побочные эффекты и помогает не оптимизировать одну цифру в ущерб другим. На собеседовании важно показать, что метрики нужно смотреть в системе, а не изолированно.

Определение:

Counter-metric — это метрика-ограничитель или метрика контроля, которая используется вместе с целевой метрикой, чтобы отследить нежелательные последствия изменений. Если основная метрика растёт, counter-metric помогает понять, не ухудшились ли качество, удержание, удовлетворённость или экономика.

Примеры counter-metric: при росте конверсии — возвраты и отмены; при ускорении доставки — доля ошибок и стоимость операции; при росте вовлечённости — жалобы, отписки, деградация retention.

Пример использования:

Команда хочет увеличить количество заказов в приложении. Основная метрика — конверсия в заказ. В качестве counter-metric выбирают долю отмен заказов и число обращений в поддержку по проблемам с оформлением.
Если конверсия выросла, но отмены и жалобы тоже выросли, значит улучшение может быть ложным и решение нужно пересматривать.

Пояснение кода:

Код не требуется. На практике это выглядит как связка из основной метрики и одной или нескольких counter-metric в дашборде или A/B-тесте.

Шаги применения:

Определить целевую метрику, которую пытаются улучшить.
Выбрать метрики, которые могут пострадать при “локальной” оптимизации.
Задать допустимые пороги для counter-metric.
Анализировать результат только в совокупности: рост целевой метрики допустим, если counter-metric не вышли за пределы нормы.

Ключевые моменты:

Counter-metric защищает от «улучшили одно — сломали другое».
Она нужна не для красоты отчёта, а для контроля качества решения.
Обычно таких метрик несколько: продуктовая, клиентская, техническая, финансовая.
Хорошая counter-metric должна быть чувствительна к риску и понятна команде.
В A/B-тестах counter-metric часто служит guardrail metric — метрикой-ограничителем.

Что такое counter-metric и зачем она нужна?