Kas yra apkarpytas tikslas PPO?

Clipped objective PPO (Proximal Policy Optimization) yra būdas apriboti politikos atnaujinimus, siekiant išvengti pernelyg didelių pokyčių, kurie galėtų pabloginti mokymąsi. Klasikinėje politikos atnaujinimo metodikoje naudojama nuostolių funkcija, pagrįsta naujų ir senų veiksmų tikimybių santykiu (ratio).

Idėja yra "supjaustyti" (clip) šį santykį intervale [1 - ε, 1 + ε], kur ε yra mažas parametras (pavyzdžiui, 0.2). Tai apsaugo nuo pernelyg stiprių atnaujinimų, kai santykis iškrenta už šių ribų.

Formaliai, vieno žingsnio nuostolių funkcija:

L^{CLIP}(	heta) = E_t [
  min(r_t(	heta) \, A_t, clip(r_t(	heta), 1 - \, \\epsilon, 1 + \, \\epsilon) \, A_t)
]

kur:

• r_t(θ) — naujos ir senos politikos tikimybių santykis t metu,
• A_t — pranašumo įvertinimas.

Tai užtikrina pusiausvyrą tarp tyrinėjimo ir stabilumo mokantis, leidžiant efektyviai optimizuoti politiką be staigių šuolių.

Taigi, clipped objective padeda PPO tapti stabilesniu ir patikimesniu algoritmu stiprinimo mokyme.