¿Qué es la función de ventaja y por qué reduce la varianza?

La función de ventaja (advantage function) en aprendizaje por refuerzo es una medida de qué tan mejor es una acción en comparación con la acción promedio en un estado dado. Formalmente, la ventaja A(s, a) = Q(s, a) - V(s), donde Q(s, a) es la recompensa esperada al realizar la acción a en el estado s, y V(s) es la recompensa esperada promedio en el estado s.

El uso de la función de ventaja ayuda a reducir la varianza de las estimaciones del gradiente en métodos de aprendizaje por refuerzo, como el gradiente de política. En lugar de usar la estimación completa Q(s, a), se resta la línea base V(s), lo que disminuye la dispersión de los valores sin afectar la esperanza matemática del gradiente. Esto conduce a un entrenamiento más estable y eficiente.

Ejemplo:

# Supongamos que tenemos las funciones Q y V
Q_sa = 10  # recompensa esperada para la acción a en el estado s
V_s = 7    # recompensa esperada promedio en el estado s
advantage = Q_sa - V_s  # ventaja = 3

El valor de la ventaja indica qué tan mejor es la acción en comparación con la media, y se usa para actualizar la política con menor dispersión.