Czym są kontekstowe bandyty?

Kontekstowe bandyty to odmiana algorytmów wielorękich bandytów, w której na każdym kroku algorytm otrzymuje pewien kontekst (np. informacje o użytkowniku lub otoczeniu) i musi wybrać działanie (np. wyświetlić reklamę lub polecić produkt), aby zmaksymalizować oczekiwaną nagrodę. W przeciwieństwie do klasycznych bandytów, gdzie wybór jest dokonywany bez uwzględnienia kontekstu, tutaj uwzględniana jest dodatkowa informacja, co pozwala na bardziej efektywne dostosowanie się do różnych sytuacji.

Przykład zastosowania to personalizacja rekomendacji: system widzi profil użytkownika (kontekst) i wybiera najlepszą opcję treści (działanie), otrzymując informację zwrotną (nagrodę) w postaci kliknięcia lub zakupu. Pomaga to prowadzić bardziej skuteczne testy A/B i eksperymentować z różnymi opcjami, minimalizując straty z nieudanych rekomendacji.