Was ist die Advantage-Funktion und warum reduziert sie die Varianz?

Vorteil-Funktion (Advantage-Funktion) im Reinforcement Learning ist ein Maß dafür, wie viel besser eine Aktion im Vergleich zur durchschnittlichen Aktion in einem bestimmten Zustand ist. Formal ist der Vorteil A(s, a) = Q(s, a) - V(s), wobei Q(s, a) die erwartete Belohnung bei Ausführung der Aktion a im Zustand s ist, und V(s) die durchschnittliche erwartete Belohnung im Zustand s.

Die Verwendung der Vorteil-Funktion hilft, die Varianz der Gradientenabschätzungen in Verstärkungslernmethoden wie dem Policy-Gradient-Algorithmus zu verringern. Anstelle der vollständigen Schätzung Q(s, a) wird die Baseline V(s) subtrahiert, was die Streuung der Werte reduziert, ohne die mathematische Erwartung des Gradienten zu beeinflussen. Dies führt zu stabilerem und effizienterem Lernen.

Beispiel:

# Angenommen, wir haben die Funktionen Q und V
Q_sa = 10  # Erwartete Belohnung für Aktion a im Zustand s
V_s = 7    # Durchschnittliche erwartete Belohnung im Zustand s
advantage = Q_sa - V_s  # Vorteil = 3

Der Vorteil zeigt, wie viel besser die Aktion im Vergleich zum Durchschnitt ist, und wird zur Aktualisierung der Politik mit geringerer Varianz verwendet.