Как да изчислим размера на пробата за A/B тест?

За да изчислите размера на пробата в A/B тест, трябва да вземете предвид няколко параметъра:

1. Базов коефициент на конверсия (baseline conversion rate) — текущото ниво на метриката, която искате да подобрите.
2. Минимален откриваем ефект (minimum detectable effect, MDE) — минималният ефект, който искате да откриете.
3. Ниво на значимост (alpha) — вероятността да отхвърлите неправилно нулевата хипотеза (обикновено 0,05).
4. Мощност на теста (power, 1 - beta) — вероятността да откриете ефект, ако той съществува (обикновено 0,8 или 0,9).

Формулата за приблизително изчисление на размера на пробата за всяка група (A и B) при бинарна метрика:

[ N = \frac{2 \times (Z_{1-\alpha/2} + Z_{1-\beta})^2 \times p \times (1-p)}{d^2} ]

където:

• (p) — базов коефициент на конверсия,
• (d) — минимален откриваем ефект (MDE),
• (Z_{1-\alpha/2}) и (Z_{1-\beta}) — стойности на квантилите на нормалното разпределение за зададените нива на значимост и мощност.

Пример: ако базовият коефициент на конверсия е 10% (0,1), MDE 2% (0,02), alpha=0,05, мощност=0,8, тогава чрез таблици или функции на разпределението може да се получи необходимият размер на пробата.

На практика често се използват библиотеки или онлайн калкулатори за точно изчисление, като се взема предвид типа на метриката (конверсия, средна стойност и т.н.).