Hoe lang moet de test worden bewaard?

De duur van een A/B-test hangt af van verschillende factoren: het volume verkeer, de benodigde statistische significantie en seizoensgebonden schommelingen. Gewoonlijk wordt de test uitgevoerd totdat er voldoende gegevens zijn verzameld voor een betrouwbare conclusie — dit kan variëren van enkele dagen tot enkele weken.

Het is belangrijk om rekening te houden met:

• Een voldoende aantal gebruikers in elke groep voor statistische significantie.
• Stabiliteit van de indicatoren (het uitsluiten van de invloed van tijdelijke anomalieën).
• Gebruikersgedragcycli (bijvoorbeeld wekelijkse of maandelijkse patronen).

Statistische methoden (bijvoorbeeld het berekenen van de p-waarde of betrouwbaarheidsintervallen) worden vaak gebruikt om te bepalen wanneer de test kan worden gestopt en een beslissing kan worden genomen.