Kas yra pranašumo funkcija ir kodėl ji mažina dispersiją?

Pranašumo funkcija (advantage function) stiprinimo mokyme yra matas, kiek veiksmas yra geresnis už vidutinį veiksmą tam tikroje būsenoje. Formaliai, pranašumas A(s, a) = Q(s, a) - V(s), kur Q(s, a) yra tikėtina atlygis, atliekant veiksmą a būsenoje s, o V(s) yra vidutinis tikėtinas atlygis būsenoje s.

Naudojant pranašumo funkciją, galima sumažinti gradientų įvertinimų dispersiją stiprinimo mokymosi metoduose, tokiuose kaip policy gradient. Vietoj pilno Q(s, a) įvertinimo, išskaičiuojama V(s) bazinė linija, kas sumažina reikšmių sklaidą, nepaveikdama gradiento matematinės tikėtinosios reikšmės. Tai leidžia pasiekti stabilesnį ir efektyvesnį mokymąsi.

Pavyzdys:

# Tarkime, turime funkcijas Q ir V
Q_sa = 10  # tikėtinas atlygis veiksmui a būsenoje s
V_s = 7    # vidutinis tikėtinas atlygis būsenoje s
advantage = Q_sa - V_s  # pranašumas = 3

Pranašumo reikšmė rodo, kiek veiksmas yra geresnis už vidurkį, ir naudojama politikos atnaujinimui su mažesne dispersija.