Qu'est-ce que la fonction d'avantage et pourquoi réduit-elle la variance?

La fonction d’avantage (advantage function) en apprentissage par renforcement est une mesure de la supériorité d’une action par rapport à l’action moyenne dans un état donné. Formellement, l’avantage A(s, a) = Q(s, a) - V(s), où Q(s, a) est la récompense attendue lors de l’exécution de l’action a dans l’état s, et V(s) est la récompense attendue moyenne dans l’état s.

L’utilisation de la fonction d’avantage aide à réduire la variance des estimations du gradient dans les méthodes d’apprentissage par renforcement, telles que le gradient de politique. Au lieu d’utiliser l’estimation complète Q(s, a), on soustrait la ligne de base V(s), ce qui diminue la dispersion des valeurs sans affecter l’espérance mathématique du gradient. Cela conduit à un apprentissage plus stable et efficace.

Exemple:

# Supposons que nous ayons les fonctions Q et V
Q_sa = 10  # récompense attendue pour l’action a dans l’état s
V_s = 7    # récompense attendue moyenne dans l’état s
advantage = Q_sa - V_s  # avantage = 3

La valeur de l’avantage indique à quel point l’action est meilleure que la moyenne, et est utilisée pour mettre à jour la politique avec une variance plus faible.