Cum se calculează dimensiunea eșantionului pentru un test A/B?

Pentru a calcula dimensiunea eșantionului într-un test A/B, trebuie să se ia în considerare mai mulți parametri:

• Nivelul de semnificație (α) — probabilitatea de a respinge incorect ipoteza nulă (de obicei 0,05).
• Puterea testului (1 - β) — probabilitatea de a detecta un efect real (de obicei 0,8 sau 0,9).
• Efectul așteptat (diferența între grupuri) — schimbarea minimă importantă de detectat.
• Devierea standard sau nivelul de bază al metricii — pentru a evalua variabilitatea.

Formula pentru un test de proporții cu două eșantioane este aproximativ astfel:

[ n = \frac{2 (Z_{1-\alpha/2} + Z_{1-\beta})^2 p (1-p)}{d^2} ]

unde:

• (Z_{1-\alpha/2}) și (Z_{1-\beta}) — cuantile ale distribuției normale,
• (p) — rata de conversie medie,
• (d) — diferența minimă între grupuri.

Pentru confort, se folosesc adesea calculatoare online sau biblioteci statistice.

Exemplu în Python cu biblioteca statsmodels:

from statsmodels.stats.power import NormalIndPower

# Parametri
alpha = 0.05
power = 0.8
effect_size = 0.1  # de exemplu, diferență de 10%

analysis = NormalIndPower()
sample_size = analysis.solve_power(effect_size=effect_size, power=power, alpha=alpha, ratio=1)
print(f"Dimensiunea eșantionului pe grup: {int(sample_size)}")