Kuidas arvutada A/B testi proovimahu?

A/B testi tegemisel tuleb arvestada mitmete parameetritega:

1. Põhikonversioonimäär (baseline conversion rate) — praegune metrika tase, mida soovite parandada.
2. Miinimumi tuvastatav mõju (minimum detectable effect, MDE) — minimaalne mõju, mida soovite tuvastada.
3. Tähtsuse tase (alpha) — tõenäosus valesti nullhüpoteesi tagasi lükata (tavaliselt 0,05).
4. Testi võimsus (power, 1 - beta) — tõenäosus tuvastada mõju, kui see on olemas (tavaliselt 0,8 või 0,9).

Lähitõenäoline näide iga rühma (A ja B) jaoks binaarse metrika puhul:

[ N = \frac{2 \times (Z_{1-\alpha/2} + Z_{1-\beta})^2 \times p \times (1-p)}{d^2} ]

kus:

• (p) — põhikonversioonimäär,
• (d) — minimaalne tuvastatav mõju (MDE),
• (Z_{1-\alpha/2}) ja (Z_{1-\beta}) — normaaljaotuse kvantili väärtused määratud tähtsuse ja võimsuse tasemetel.

Näide: kui põhikonversioonimäär on 10% (0,1), MDE 2% (0,02), alpha=0,05, võimsus=0,8, siis saab vajaliku näidise suuruse määrata tabelite või jaotustabelite abil.

Praktikas kasutatakse sageli teeke või veebipõhiseid kalkulaatoreid täpseks arvutamiseks, võttes arvesse metrika tüüpi (konversioon, keskmine väärtus jne).