Что хотят услышать интервьюеры:

ROI growth-эксперимента считают через инкрементальный эффект: сколько дополнительной ценности эксперимент принес относительно контрольной группы и сколько стоил запуск. Важно учитывать не только прямую выручку, но и маржинальную прибыль, стоимость трафика, разработки и операционные затраты. Корректный ответ всегда опирается на сравнение теста и контроля за один и тот же период.

Определение:

ROI (Return on Investment) для growth-эксперимента — это отношение дополнительной прибыли, полученной благодаря эксперименту, к затратам на его проведение. Обычно считают не абсолютную выручку, а инкрементальный результат: разницу между тестовой и контрольной группой, нормированную на стоимость эксперимента.

Базовая формула:

[ ROI = \frac{\text{Инкрементальная прибыль} - \text{Стоимость эксперимента}}{\text{Стоимость эксперимента}} \times 100% ]

Если нужен более практичный вариант для growth, то часто сначала считают:

инкрементальную выручку или прибыль,
затем вычитают переменные издержки,
после этого делят на total cost эксперимента.

Пример использования:

Допустим, в эксперименте новая онбординг-цепочка дала:

+200 дополнительных оплат в тесте относительно контроля,
среднюю маржинальную прибыль с одной оплаты 500 ₽,
стоимость разработки, аналитики и запуска — 50 000 ₽.

Тогда:

инкрементальная прибыль = 200 × 500 = 100 000 ₽
ROI = (100 000 - 50 000) / 50 000 × 100% = 100%

Это значит, что каждый вложенный рубль вернул еще один рубль сверх затрат.

Инкрементальная прибыль = (Метрика теста - Метрика контроля) × Маржа на единицу
ROI = (Инкрементальная прибыль - Затраты на эксперимент) / Затраты на эксперимент × 100%

Пояснение кода:

Код не требуется, но формула раскладывается так:

Считается разница между тестом и контролем по целевой метрике: конверсия, число оплат, средний чек, выручка на пользователя.
Разница переводится в деньги через маржу, а не через выручку, если важна реальная экономика.
Из полученной инкрементальной прибыли вычитаются все затраты на эксперимент: разработка, дизайн, аналитика, маркетинг, инфраструктура, потерянная выручка при риске.
Результат делится на затраты и умножается на 100%, чтобы получить ROI в процентах.

Если эксперимент влияет не на разовую покупку, а на LTV, то лучше считать вклад через ожидаемую пожизненную маржу, но с учетом горизонта и дисконтирования, если оно принято в компании.

Ключевые моменты:

ROI growth-эксперимента считают через инкрементальный эффект, а не через сырую выручку.
Лучше опираться на маржинальную прибыль, а не на оборот.
В затраты нужно включать не только разработку, но и полный cost of experiment.
Если эффект долгосрочный, нужно считать LTV-эффект и выбирать понятный горизонт измерения.
Для принятия решений важно сравнивать ROI разных гипотез, а не только факт положительного ROI.
Если статистический эффект слабый или выборка мала, ROI может быть ненадежным даже при красивой цифре.

Как считать ROI growth-эксперимента?