O que são testes A/B sequenciais?

Testes sequenciais A/B são um método de realização de experimentos em que os dados são recolhidos e analisados fase a fase, e não após a conclusão de todo o experimento. Ao contrário do teste A/B clássico, onde os resultados são avaliados após a acumulação de toda a amostra, nos testes sequenciais A/B os resultados intermédios são verificados regularmente, e se atingir a significância estatística, o teste pode ser interrompido antecipadamente.

Isto permite:

• Tomar decisões mais rapidamente, economizando tempo e recursos.
• Reduzir o risco de erros do primeiro tipo ajustando os limiares de significância em cada etapa.

Exemplo: em sistemas de recomendação, pode-se lançar um teste sequencial A/B para determinar rapidamente qual o modelo de recomendação melhor, e interromper o teste e implementar o vencedor quando atingir a confiança.