Čo je to advantage function a prečo znižuje varianciu?

Funkcia výhody (advantage function) v posilňovacom učení je miera toho, ako je akcia lepšia ako priemerná akcia v danom stave. Formálne, výhoda A(s, a) = Q(s, a) - V(s), kde Q(s, a) je očakávaná odmena pri vykonaní akcie a v stave s, a V(s) je priemerná očakávaná odmena v stave s.

Použitie funkcie výhody pomáha znížiť varianciu odhadov gradientu v metódach posilňovacieho učenia, ako je policy gradient. Namiesto použitia úplného odhadu Q(s, a) sa odčíta základná línia V(s), čo znižuje rozptyl hodnôt bez ovplyvnenia matematickej očakávanosti gradientu. To vedie k stabilnejšiemu a efektívnejšiemu učeniu.

Príklad:

# Predpokladajme, že máme funkcie Q a V
Q_sa = 10  # očakávaná odmena pre akciu a v stave s
V_s = 7    # priemerná očakávaná odmena v stave s
advantage = Q_sa - V_s  # výhoda = 3

Hodnota výhody ukazuje, ako je akcia lepšia ako priemer, a používa sa na aktualizáciu politiky s menšou varianciou.