Какво е clipped objective в PPO?

Целевата функция с клип в PPO (Proximal Policy Optimization) е начин за ограничаване на актуализациите на политиката, за да се избегнат прекалено големи промени, които биха могли да влошат обучението. В класическия подход за актуализиране на политиката се използва функция за загуба, базирана на отношението на вероятностите на новите и старите действия (ratio).

Идеята е да се "нареже" (clip) това отношение в интервала [1 - ε, 1 + ε], където ε е малък параметър (например 0.2). Това предотвратява прекалено силни актуализации, когато отношението излезе извън тези граници.

Формално, функцията за загуба за една стъпка:

L^{CLIP}(	heta) = E_t [
  min(r_t(	heta) \, A_t, clip(r_t(	heta), 1 - \, \\epsilon, 1 + \, \\epsilon) \, A_t)
]

където:

• r_t(θ) — отношението на вероятностите на новата и старата политика за действие в момент t,
• A_t — оценката на предимството.

Това осигурява баланс между изследване и стабилност при обучението, позволявайки ефективно оптимизиране на политиката без резки скокове.

По този начин, клипнатата цел помага PPO да бъде по-стабилен и надежден алгоритъм в обучението с подсилване.