Ako vypočítať veľkosť vzorky pre A/B test?

Za izračun velikosti vzorke v A/B testu je treba upoštevati več parametrov:

1. Osnovni delež konverzije (baseline conversion rate) — trenutna raven metrike, ki jo želite izboljšati.
2. Minimalni zaznavni učinek (minimum detectable effect, MDE) — minimalni učinek, ki ga želite zaznati.
3. Nivo pomembnosti (alpha) — verjetnost napačnega zavrnitve ničelne hipoteze (običajno 0,05).
4. Moč testa (power, 1 - beta) — verjetnost zaznave učinka, če ta obstaja (običajno 0,8 ali 0,9).

Za približen izračun velikosti vzorca za vsako skupino (A in B) pri binarni metrični meri:

[ N = \frac{2 \times (Z_{1-\alpha/2} + Z_{1-\beta})^2 \times p \times (1-p)}{d^2} ]

kjer:

• (p) — osnovni delež konverzije,
• (d) — minimalni zaznavni učinek (MDE),
• (Z_{1-\alpha/2}) in (Z_{1-\beta}) — vrednosti kvantilov normalne porazdelitve za določene ravni pomembnosti in moči.

Primer: če je osnovni delež konverzije 10% (0,1), MDE 2% (0,02), alpha=0,05, moč=0,8, se lahko s tabelami ali funkcijami porazdelitve določi potrebna velikost vzorca.

V praksi se pogosto uporabljajo knjižnice ali spletni kalkulatorji za natančen izračun, ob upoštevanju tipa metrike (konverzija, povprečna vrednost itd.).