Что такое advantage function и почему она снижает variance?

Advantage function (функция преимущества) в reinforcement learning — это мера того, насколько действие лучше среднего действия в данном состоянии. Формально, advantage A(s, a) = Q(s, a) - V(s), где Q(s, a) — ожидаемая награда при выполнении действия a в состоянии s, а V(s) — средняя ожидаемая награда в состоянии s.

Использование advantage function помогает снизить дисперсию (variance) оценок градиента в методах обучения с подкреплением, таких как policy gradient. Вместо использования полной оценки Q(s, a), вычитается базовая линия V(s), что уменьшает разброс значений, не влияя на математическое ожидание градиента. Это приводит к более стабильному и эффективному обучению.

Пример:

# Предположим, у нас есть функции Q и V
Q_sa = 10  # ожидаемая награда для действия a в состоянии s
V_s = 7    # средняя ожидаемая награда в состоянии s
advantage = Q_sa - V_s  # advantage = 3

Значение advantage показывает, насколько действие лучше среднего, и используется для обновления политики с меньшей дисперсией.