Как считать sample size для A/B-теста?

Для расчёта размера выборки (sample size) в A/B-тесте необходимо учитывать несколько параметров:

1. Базовая конверсия (baseline conversion rate) — текущий уровень метрики, которую вы хотите улучшить.
2. Минимально значимое различие (minimum detectable effect, MDE) — минимальный эффект, который вы хотите обнаружить.
3. Уровень значимости (alpha) — вероятность ошибочного отклонения нулевой гипотезы (обычно 0.05).
4. Мощность теста (power, 1 - beta) — вероятность обнаружить эффект, если он есть (обычно 0.8 или 0.9).

Формула для приблизительного расчёта размера выборки для каждой группы (A и B) при бинарной метрике:

[ N = \frac{2 \times (Z_{1-\alpha/2} + Z_{1-\beta})^2 \times p \times (1-p)}{d^2} ]

где:

• (p) — базовая конверсия,
• (d) — минимальное различие (MDE),
• (Z_{1-\alpha/2}) и (Z_{1-\beta}) — значения квантилей нормального распределения для заданных уровней значимости и мощности.

Пример: если базовая конверсия 10% (0.1), MDE 2% (0.02), alpha=0.05, power=0.8, то используя таблицы или функции распределения, можно получить необходимый размер выборки.

В практике часто используют готовые библиотеки или онлайн-калькуляторы для точного расчёта, учитывая тип метрики (конверсия, среднее значение и т.д.).