Co je to advantage funkce a proč snižuje varianci?

Funkce výhody (advantage function) v posilovacím učení je mírou toho, jak je akce lepší než průměrná akce v daném stavu. Formálně, advantage A(s, a) = Q(s, a) - V(s), kde Q(s, a) je očekávaná odměna při provádění akce a ve stavu s, a V(s) je průměrná očekávaná odměna ve stavu s.

Použití funkce výhody pomáhá snížit rozptyl odhadů gradientu v metodách posilovacího učení, jako je policy gradient. Místo použití úplného odhadu Q(s, a) se odečte základní linie V(s), což snižuje rozptyl hodnot, aniž by ovlivnilo matematickou očekávanost gradientu. To vede k stabilnějšímu a efektivnějšímu učení.

Příklad:

# Předpokládejme, že máme funkce Q a V
Q_sa = 10  # očekávaná odměna pro akci a ve stavu s
V_s = 7    # průměrná očekávaná odměna ve stavu s
advantage = Q_sa - V_s  # výhoda = 3

Hodnota výhody ukazuje, jak je akce lepší než průměr, a je použita k aktualizaci politiky s menším rozptylem.