Qu'est-ce que les bandits contextuels?

Les bandits contextuels sont une variante des algorithmes de bandits à plusieurs bras, où à chaque étape, l'algorithme reçoit un certain contexte (par exemple, des informations sur l'utilisateur ou l'environnement) et doit choisir une action (par exemple, afficher une publicité ou recommander un produit) pour maximiser la récompense attendue. Contrairement aux bandits classiques, où le choix est fait sans tenir compte du contexte, ici, des informations supplémentaires sont prises en compte, ce qui permet de s'adapter plus efficacement à différentes situations.

Un exemple d'utilisation est la personnalisation des recommandations : le système voit le profil de l'utilisateur (contexte) et choisit la meilleure option de contenu (action), recevant un retour (récompense) sous forme de clic ou d'achat. Cela aide à réaliser des tests A/B plus efficaces et à expérimenter avec différentes options, en minimisant les pertes dues à des recommandations infructueuses.