Policy gradient nima va policy gradient teoremasi nima?

Policy Gradient — bu o‘qitishda kuchli strategiya (policy) parametrlarini to‘g‘ridan-to‘g‘ri optimallashtirish uchun gradient descent yordamida ishlatiladigan metodlar sinfidir.

Qiymat funksiyasini baholash o‘rniga, policy gradient metodlari siyosat parametrlarini yangilab, kutilyotgan mukofotni oshirishga harakat qiladi.

Policy Gradient Teoremasi rasmiy ravishda siyosat parametrlariga bog‘liq kutilyotgan mukofotni gradientini ifodalaydi:

[ \nabla_\theta J(\theta) = \mathbb{E}{\pi\theta} \left[ \nabla_\theta \log \pi_\theta(a|s) Q^{\pi_\theta}(s,a) \right] ]

bu yerda:

• (J(\theta)) — parametrlar bilan siyosat bo‘yicha kutilyotgan mukofot
• (\pi_\theta(a|s)) — (s) holatda (a) harakat qilish ehtimoli
• (Q^{\pi_\theta}(s,a)) — harakat qiymat funksiyasi

Ushbu ifoda muhitdan olingan namunalar yordamida gradientni baholash va siyosat parametrlarini mukofotni oshirish yo‘nalishida yangilash imkonini beradi.

Oddiy parametr yangilash misoli:

# pseudo-kod
har bir epizod uchun:
    policy pi_theta yordamida trajektoriya to‘plang
    har bir (s, a, mukofot) uchun trajektoriya:
        grad = grad + grad_log_pi_theta(a|s) * mukofot
    theta = theta + o‘qitish tezligi * grad

Policy gradient metodlari murakkab strategiyalarni o‘qitishda keng qo‘llaniladi, ayniqsa harakatlar maydoni uzluksiz bo‘lsa yoki siyosat stochastik bo‘lishi kerak bo‘lsa.