Ako dlho je potrebné uchovávať test?

Dĺžka A/B testu závisí od niekoľkých faktorov: objemu prevádzky, požadovanej štatistickej významnosti a sezónnych výkyvov. Zvyčajne sa test vykonáva, kým sa nezbavia dostatočné údaje na spoľahlivý záver — to môže trvať od niekoľkých dní do niekoľkých týždňov.

Je dôležité zvážiť:

• Dostatočný počet používateľov v každej skupine pre štatistickú významnosť.
• Stabilitu ukazovateľov (eliminovať vplyv dočasných anomálií).
• Cyklus správania používateľov (napríklad týždenné alebo mesačné vzory).

Často sa používajú štatistické metódy (napríklad výpočet p-hodnoty alebo intervalov spoľahlivosti), aby sa určil čas, kedy je možné test ukončiť a urobiť rozhodnutie.