Wat zijn contextuele bandieten en waar worden ze toegepast?

Contextuele bandieten zijn een variant van versterkingsleer-algoritmen, waarbij de agent een actie (bijvoorbeeld een aanbeveling) kiest op basis van de huidige context (bijvoorbeeld gebruikersinformatie) en alleen feedback krijgt over de gekozen actie. In tegenstelling tot de klassieke multi-armed bandit-probleem, waar geen context is, wordt hier aanvullende informatie meegenomen, waardoor meer gepersonaliseerde beslissingen kunnen worden genomen.

Toepassingen:

• Aanbevelingssystemen (bijvoorbeeld relevante producten of artikelen aan de gebruiker tonen)
• Personalisatie van advertenties
• Optimalisatie van interfaces en A/B-testen
• Medische beslissingen, waarbij de behandeling wordt gekozen op basis van de kenmerken van de patiënt

Voorbeeld: bij het tonen van een nieuwsoverzicht kiest het algoritme een artikel op basis van het profiel van de gebruiker en verbetert de keuze in de toekomst op basis van klikken.