რა არის clipped objective PPO-ში?

PPO (Proximal Policy Optimization) içindəki clipped objective, siyasəti yeniləmələri məhdudlaşdırmaq üçün istifadə olunan bir üsuldur; bu, çox böyük dəyişikliklərin qarşısını alır və öyrənməni pisləşdirə bilər. Klassik siyasət yeniləmə yanaşmasında, yeni və köhnə hərəkətlərin ehtimallıq nisbətinə əsaslanan bir itki funksiyası istifadə olunur (nisbət).

Fikri odur ki, bu nisbəti "kəsmək" (clip) [1 - ε, 1 + ε] intervalında, burada ε kiçik bir parametrdir (məsələn, 0.2). Bu, nisbət bu sərhədlərdən çıxanda çox güclü yeniləmələri qarşısını alır.

Rəsmi olaraq, bir addım üçün itki funksiyası:

L^{CLIP}(	heta) = E_t [
  min(r_t(	heta) \, A_t, clip(r_t(	heta), 1 - \, \\epsilon, 1 + \, \\epsilon) \, A_t)
]

burada:

• r_t(θ) — t zamanında yeni və köhnə siyasətin ehtimallıq nisbəti,
• A_t — üstünlük qiymətləndirməsi.

Bu, kəşfiyyat və stabillik arasında balans təmin edir və siyasəti effektiv şəkildə optimallaşdırmağa imkan verir, ani sıçrayışlar olmadan.

Beləliklə, clipped objective PPO-nun daha stabil və etibarlı bir gücləndirmə öyrənmə alqoritmi olmasına kömək edir.