Mis on eelisfunktsioon ja miks see vähendab variatsiooni?

Eelise funktsioon (advantage function) tugevdamise õppimises on mõõt, kui palju tegevus on parem kui keskmine tegevus antud olekus. Formaalselt, eelise A(s, a) = Q(s, a) - V(s), kus Q(s, a) on oodatav tasu tegevuse a sooritamisel olekus s, ja V(s) on keskmine oodatav tasu olekus s.

Eelise funktsiooni kasutamine aitab vähendada gradientide hinnangute dispersiooni tugevdamise õppemeetodites, nagu policy gradient. Selle asemel, et kasutada täielikku Q(s, a) hinnangut, lahutatakse V(s) alusjoon, mis vähendab väärtuste hajuvust, mõjutamata gradientide matemaatilist ootust. See viib stabiilsema ja tõhusama õppimiseni.

Näide:

# Oletame, et meil on funktsioonid Q ja V
Q_sa = 10  # oodatav tasu tegevuse a jaoks olekus s
V_s = 7    # keskmine oodatav tasu olekus s
advantage = Q_sa - V_s  # eelise väärtus = 3

Eelise väärtus näitab, kui palju tegevus on parem kui keskmine, ning seda kasutatakse poliitika uuendamiseks väiksema dispersiooniga.