Ce este funcția de avantajă și de ce reduce variabilitatea?

Funcția de avantaj (advantage function) în învățarea prin întărire este o măsură a cât de mult mai bună este o acțiune comparativ cu acțiunea medie într-o stare dată. Formal, avantajul A(s, a) = Q(s, a) - V(s), unde Q(s, a) reprezintă recompensa așteptată atunci când se execută acțiunea a în starea s, iar V(s) reprezintă recompensa așteptată medie în starea s.

Utilizarea funcției de avantaj ajută la reducerea varianței estimărilor gradientului în metodele de învățare prin întărire, cum ar fi gradientul politicii. În loc să se folosească estimarea completă Q(s, a), se scade linia de bază V(s), ceea ce reduce dispersia valorilor fără a afecta așteptarea matematică a gradientului. Acest lucru duce la o învățare mai stabilă și mai eficientă.

Exemplu:

# Presupunem că avem funcțiile Q și V
Q_sa = 10  # recompensa așteptată pentru acțiunea a în starea s
V_s = 7    # recompensa așteptată medie în starea s
advantage = Q_sa - V_s  # avantaj = 3

Valoarea avantajului indică cât de mult mai bună este acțiunea comparativ cu media și este folosită pentru actualizarea politicii cu dispersie mai mică.