Jak obliczyć rozmiar próbki dla testu A/B?

Aby obliczyć rozmiar próbki w teście A/B, należy wziąć pod uwagę kilka parametrów:

1. Podstawowa konwersja (baseline conversion rate) — obecny poziom metryki, którą chcesz poprawić.
2. Minimalny wykrywalny efekt (minimum detectable effect, MDE) — minimalny efekt, który chcesz wykryć.
3. Poziom istotności (alpha) — prawdopodobieństwo błędnego odrzucenia hipotezy zerowej (zwykle 0,05).
4. Moc testu (power, 1 - beta) — prawdopodobieństwo wykrycia efektu, jeśli istnieje (zwykle 0,8 lub 0,9).

Formuła do przybliżonego obliczenia rozmiaru próbki dla każdej grupy (A i B) przy metryce binarnej:

[ N = \frac{2 \times (Z_{1-\alpha/2} + Z_{1-\beta})^2 \times p \times (1-p)}{d^2} ]

gdzie:

• (p) — podstawowa konwersja,
• (d) — minimalny wykrywalny efekt (MDE),
• (Z_{1-\alpha/2}) i (Z_{1-\beta}) — wartości kwantyli rozkładu normalnego dla ustalonych poziomów istotności i mocy.

Przykład: jeśli podstawowa konwersja wynosi 10% (0,1), MDE 2% (0,02), alpha=0,05, moc=0,8, można uzyskać potrzebny rozmiar próbki, korzystając z tabel lub funkcji rozkładu.

W praktyce często korzysta się z bibliotek lub kalkulatorów online do dokładnych obliczeń, uwzględniając typ metryki (konwersja, średnia wartość itp.).