Ինչպե՞ս հաշվարկել A/B թեստի համար նմուշի չափը։

A/B թեստում նմուշի չափը հաշվարկելու համար անհրաժեշտ է հաշվի առնել մի քանի պարամետրեր:

1. Հիմնական փոխարկման ցուցանիշը (baseline conversion rate) — ներկայիս մետրիքի մակարդակը, որը ցանկանում եք բարելավել:
2. Նվազագույն հայտնաբերվող ազդեցությունը (minimum detectable effect, MDE) — նվազագույն ազդեցությունը, որը ցանկանում եք հայտնաբերել:
3. Սիմվոլության մակարդակը (alpha) — սխալ բացառում իրական հիպոթեզը (հաճախ 0.05):
4. Թեստի հզորությունը (power, 1 - beta) — հավանականությունը, որ հայտնաբերում եք ազդեցություն, եթե այն կա (հաճախ 0.8 կամ 0.9):

Բազմակի մետրիքի համար մոտավոր նմուշի չափը հաշվարկելու բանաձևը:

[ N = \frac{2 \times (Z_{1-\alpha/2} + Z_{1-\beta})^2 \times p \times (1-p)}{d^2} ]

որտեղ՝

• (p) — հիմնական փոխարկման ցուցանիշը,
• (d) — նվազագույն հայտնաբերվող ազդեցությունը (MDE),
• (Z_{1-\alpha/2}) և (Z_{1-\beta}) — նորմալ բաշխման քվանտիլների արժեքները նշված մակարդակների համար:

Օրինակ՝ եթե հիմնական փոխարկման ցուցանիշը 10% (0.1), MDE 2% (0.02), alpha=0.05, power=0.8, ապա անհրաժեշտ նմուշի չափը կարելի է որոշել աղյուսակների կամ բաշխման ֆունկցիաների միջոցով:

Практически, часто используются библиотеки или онлайн-калькуляторы для точного расчёта, учитывая тип метрики (конверсия, среднее значение и т.д.).