Czym jest funkcja przewagi i dlaczego obniża wariancję?

Funkcja przewagi (advantage function) w uczeniu ze wzmocnieniem jest miarą tego, jak bardzo dane działanie jest lepsze od średniego działania w danym stanie. Formalnie, advantage A(s, a) = Q(s, a) - V(s), gdzie Q(s, a) to oczekiwana nagroda za wykonanie działania a w stanie s, a V(s) to średnia oczekiwana nagroda w stanie s.

Użycie funkcji przewagi pomaga zmniejszyć wariancję oszacowań gradientu w metodach uczenia ze wzmocnieniem, takich jak policy gradient. Zamiast korzystać z pełnej oceny Q(s, a), odejmuje się bazową linię V(s), co zmniejsza rozrzut wartości, nie wpływając na oczekiwanie matematyczne gradientu. To prowadzi do bardziej stabilnego i efektywnego uczenia się.

Przykład:

# Załóżmy, że mamy funkcje Q i V
Q_sa = 10  # oczekiwana nagroda dla działania a w stanie s
V_s = 7    # średnia oczekiwana nagroda w stanie s
advantage = Q_sa - V_s  # przewaga = 3

Wartość przewagi pokazuje, jak bardzo działanie jest lepsze od średniej i jest używana do aktualizacji polityki z mniejszą wariancją.