O que são multi-armed bandits e onde usá-los em vez de testes A/B?

Multi-armed bandits (bandidos de múltiplos braços) são um modelo algorítmico para resolver a tarefa de escolher a opção ótima entre várias, equilibrando entre exploração e exploração. Ao contrário dos testes A/B clássicos, onde as opções são testadas em paralelo e os resultados são analisados após um período fixo, os multi-armed bandits redistribuem dinamicamente o tráfego em favor das opções mais bem-sucedidas durante o experimento.

Quando usar em vez de testes A/B:

• Quando é importante minimizar rapidamente as perdas de opções ineficazes (por exemplo, em publicidade ou recomendações).
• Quando o tráfego é limitado e é necessário encontrar a melhor opção mais rapidamente.
• Em sistemas online com condições em constante mudança, onde é preciso adaptar-se em tempo real.

Assim, os multi-armed bandits permitem gerir os experimentos de forma mais eficiente, especialmente em condições de tempo e recursos limitados.