Mis on lõigatud eesmärk PPO-s?

Clipped objective PPO (Proximal Policy Optimization) on viis piirata poliitika uuendusi, et vältida liiga suuri muutusi, mis võiksid halvendada õppimist. Klassikalises poliitika uuendamise lähenemises kasutatakse kaotuse funktsiooni, mis põhineb uute ja vanade tegevuste tõenäosuste suhtel (ratio).

Idee on "lõigata" (clip) see suhe vahemikus [1 - ε, 1 + ε], kus ε on väike parameeter (näiteks 0.2). See takistab liiga tugevaid uuendusi, kui suhe ületab need piirid.

Vormiliselt, ühe sammu kaotuse funktsioon:

L^{CLIP}(	heta) = E_t [
  min(r_t(	heta) \, A_t, clip(r_t(	heta), 1 - \, \\epsilon, 1 + \, \\epsilon) \, A_t)
]

kus:

• r_t(θ) — uue ja vana poliitika tõenäosuste suhe t ajal,
• A_t — eelise hinnang.

See tagab tasakaalu uurimise ja stabiilsuse vahel õppimisel, võimaldades tõhusalt optimeerida poliitikat ilma äkiliste hüpeteta.

Seega aitab clipped objective PPO-l olla stabiilsem ja usaldusväärsem algoritm tugevdamise õppimises.