Что такое contextual bandits?

Contextual bandits — это разновидность алгоритмов многоруких бандитов, где на каждом шаге алгоритм получает некоторый контекст (например, информацию о пользователе или окружении) и должен выбрать действие (например, показать рекламу или рекомендовать товар), чтобы максимизировать ожидаемую награду. В отличие от классических бандитов, где выбор делается без учета контекста, здесь учитывается дополнительная информация, что позволяет более эффективно адаптироваться к разным ситуациям.

Пример использования — персонализация рекомендаций: система видит профиль пользователя (контекст) и выбирает лучший вариант контента (действие), получая обратную связь (награду) в виде клика или покупки. Это помогает проводить более эффективные A/B тесты и экспериментировать с разными вариантами, минимизируя потери от неудачных рекомендаций.