Как ты организуешь A/B тест для этой гипотезы? Как определить размер выборки?

Для организации A/B теста сначала формулируется гипотеза и выбирается ключевая метрика для оценки эффекта. Затем пользователей случайным образом делят на две группы: контрольную (A) и экспериментальную (B).

Размер выборки определяется на основе желаемой статистической мощности (обычно 80-90%), уровня значимости (обычно 5%) и ожидаемого эффекта (разницы в метрике между группами). Для расчёта можно использовать формулы для сравнения долей или средних, либо специальные калькуляторы.

Пример: если ожидаемый прирост конверсии — 5%, базовая конверсия — 10%, уровень значимости 0.05 и мощность 0.8, то размер выборки на группу может быть около нескольких тысяч пользователей.