¿Qué son los bandits contextuales?

Los bandits contextuales son una variante de los algoritmos de multi-armed bandits, donde en cada paso el algoritmo recibe un cierto contexto (por ejemplo, información sobre el usuario o el entorno) y debe elegir una acción (por ejemplo, mostrar un anuncio o recomendar un producto) para maximizar la recompensa esperada. A diferencia de los bandits clásicos, donde la elección se realiza sin tener en cuenta el contexto, aquí se considera información adicional, lo que permite adaptarse de manera más eficiente a diferentes situaciones.

Un ejemplo de uso es la personalización de recomendaciones: el sistema ve el perfil del usuario (contexto) y elige la mejor opción de contenido (acción), recibiendo retroalimentación (recompensa) en forma de clic o compra. Esto ayuda a realizar pruebas A/B más efectivas y a experimentar con diferentes opciones, minimizando las pérdidas por recomendaciones fallidas.