როგორ გამოვთვალოთ A/B ტესტისთვის ნიმუშის ზომა?

A/B ტესტში ნიმუშის ზომის გამოთვლისთვის საჭიროა რამდენიმე პარამეტრის გათვალისწინება:

1. ძირითადი კონვერსიის მაჩვენებელი (baseline conversion rate) — მიმდინარე მაჩვენებელი, რომელიც გსურთ გაუმჯობესება.
2. მინიმალური გამოვლინადი ეფექტი (minimum detectable effect, MDE) — მინიმალური ეფექტი, რომელიც გსურთ აღმოაჩინოთ.
3. მნიშვნელობის დონე (alpha) — ალბათობა შეცდომით ნულოვანი ჰიპოთეზის უარყოფის (საშუალოდ 0.05).
4. ტესტის სიძლიერე (power, 1 - beta) — ალბათობა აღმოაჩინოთ ეფექტი, თუ ის არსებობს (საშუალოდ 0.8 ან 0.9).

სხვადასხვა მეტრიკისთვის ნიმუშის ზომის გამოთვლის ფორმულა:

[ N = \frac{2 \times (Z_{1-\alpha/2} + Z_{1-\beta})^2 \times p \times (1-p)}{d^2} ]

სადაც:

• (p) — ძირითადი კონვერსიის მაჩვენებელი,
• (d) — მინიმალური გამოვლინადი ეფექტი (MDE),
• (Z_{1-\alpha/2}) და (Z_{1-\beta}) — ნორმალური განაწილების კვანტილების მნიშვნელობები განსაზღვრულ დონეებზე.

მაგალითად: თუ ძირითადი კონვერსიის მაჩვენებელი 10% (0.1), MDE 2% (0.02), alpha=0.05, power=0.8, მაშინ საჭირო ნიმუშის ზომა შეიძლება განსაზღვროს ცხრილების ან განაწილების ფუნქციების გამოყენებით.

პრაქტიკაში ხშირად გამოიყენება ბიბლიოთეკები ან ონლაინ კალკულატორები ზუსტი გამოთვლისთვის, მეტრიკის ტიპის (კონვერსია, საშუალო მნიშვნელობა და ა.შ.) გათვალისწინებით.