Mi az az advantage function és miért csökkenti a varianciát?

A haszonfüggvény (advantage function) a megerősítő tanulásban egy mérőszám arra, hogy egy adott állapotban egy művelet mennyivel jobb, mint az átlagos művelet. Formálisan, az advantage A(s, a) = Q(s, a) - V(s), ahol Q(s, a) az elvárt jutalom, ha a műveletet a s állapotban végrehajtjuk, V(s) pedig az átlagos elvárt jutalom az s állapotban.

Az advantage függvény használata segít csökkenteni a gradiens becslések varianciáját a megerősítő tanulási módszerekben, mint például a policy gradient. A teljes Q(s, a) becslés helyett kivonjuk a V(s) baseline-t, ami csökkenti az értékek szórását anélkül, hogy befolyásolná a gradiens matematikai várakozását. Ez stabilabb és hatékonyabb tanuláshoz vezet.

Példa:

# Tegyük fel, hogy vannak Q és V függvényeink
Q_sa = 10  # elvárt jutalom a s állapotban a művelet végrehajtásakor
V_s = 7    # átlagos elvárt jutalom az s állapotban
advantage = Q_sa - V_s  # előny = 3

Az advantage érték megmutatja, hogy az adott művelet mennyivel jobb az átlaghoz képest, és kisebb varianciával frissíti a politikát.