¿Qué son los multi-armed bandits y dónde usarlos en lugar de pruebas A/B?

Los multi-armed bandits (bandidos de múltiples brazos) son un modelo algorítmico para resolver la tarea de elegir la opción óptima entre varias, equilibrando entre exploración y explotación. A diferencia de las pruebas A/B clásicas, donde las opciones se prueban en paralelo y los resultados se analizan después de un período fijo, los multi-armed bandits redistribuyen dinámicamente el tráfico en favor de las opciones más exitosas durante el experimento.

Cuándo usar en lugar de pruebas A/B:

• Cuando es importante minimizar rápidamente las pérdidas por opciones ineficaces (por ejemplo, en publicidad o recomendaciones).
• Cuando el tráfico es limitado y se necesita encontrar la mejor opción más rápidamente.
• En sistemas en línea con condiciones en constante cambio, donde es necesario adaptarse en tiempo real.

De este modo, los multi-armed bandits permiten gestionar los experimentos de manera más eficiente, especialmente en condiciones de tiempo y recursos limitados.