O que são bandits contextuais?

Bandits contextuais são uma variante dos algoritmos de multi-armed bandits, onde em cada passo o algoritmo recebe um determinado contexto (por exemplo, informações sobre o utilizador ou o ambiente) e deve escolher uma ação (por exemplo, mostrar um anúncio ou recomendar um produto) para maximizar a recompensa esperada. Ao contrário dos bandits clássicos, onde a escolha é feita sem considerar o contexto, aqui é considerada informação adicional, o que permite uma adaptação mais eficiente a diferentes situações.

Um exemplo de uso é a personalização de recomendações: o sistema vê o perfil do utilizador (contexto) e escolhe a melhor opção de conteúdo (ação), recebendo feedback (recompensa) na forma de clique ou compra. Isso ajuda a realizar testes A/B mais eficazes e a experimentar diferentes opções, minimizando perdas por recomendações mal sucedidas.