Əlavə funksiyası nədir və niyə dəyişkənliyi azaldır?

Gücləndirmə öyrənməsində (reinforcement learning) üstünlük funksiyası (advantage function), müəyyən bir vəziyyətdə hərəkətin orta hərəkətdən nə qədər yaxşı olduğunu ölçən bir göstəricidir. Rəsmi olaraq, üstünlük A(s, a) = Q(s, a) - V(s), burada Q(s, a) s vəziyyətində a hərəkətini yerinə yetirməklə əldə edilən gözlənilən mükafatdır, V(s) isə s vəziyyətində orta gözlənilən mükafatdır.

Üstünlük funksiyasından istifadə, policy gradient kimi gücləndirmə öyrənmə metodlarında gradientin varyansını azaltmağa kömək edir. Tam Q(s, a) qiymətləndirməsi yerinə, V(s) əsas xətti çıxarılır, bu da dəyərlərin dispersiyasını azaldır və gradientin riyazi gözləməsinə təsir etmir. Bu, daha stabil və səmərəli öyrənməyə gətirib çıxarır.

Nümunə:

# Q və V funksiyalarımız olduğunu fərz edək
Q_sa = 10  # s vəziyyətində a hərəkəti üçün gözlənilən mükafat
V_s = 7    # s vəziyyətində orta gözlənilən mükafat
advantage = Q_sa - V_s  # üstünlük = 3

Üstünlük dəyəri, hərəkətin orta dəyərlə müqayisədə nə qədər yaxşı olduğunu göstərir və daha az dispersiya ilə siyasəti yeniləmək üçün istifadə olunur.