Wat zijn contextuele bandieten?

Contextuele bandieten zijn een variant van multi-armed bandit-algoritmen, waarbij het algoritme bij elke stap een bepaalde context ontvangt (bijvoorbeeld informatie over de gebruiker of de omgeving) en een actie moet kiezen (bijvoorbeeld het tonen van een advertentie of het aanbevelen van een product) om de verwachte beloning te maximaliseren. In tegenstelling tot klassieke bandieten, waarbij de keuze zonder rekening te houden met de context wordt gemaakt, wordt hier aanvullende informatie meegenomen, wat een efficiëntere aanpassing aan verschillende situaties mogelijk maakt.

Een voorbeeld van gebruik is personalisatie van aanbevelingen: het systeem ziet het profiel van de gebruiker (context) en kiest de beste inhoudsoptie (actie), terwijl het feedback (beloning) ontvangt in de vorm van een klik of aankoop. Dit helpt om effectievere A/B-tests uit te voeren en te experimenteren met verschillende opties, terwijl verliezen door mislukte aanbevelingen worden geminimaliseerd.