RLHF kontekstida PPO nima va yo'qotish qanday hisoblanadi?

PPO (Proximal Policy Optimization) — bu o‘rganish bilan mustahkamlashda siyosatni optimallashtirish algoritmi bo‘lib, RLHF (Inson Fikr-mulohazasi bilan Mustahkamlash O‘rganishi)da keng qo‘llaniladi, til modellari inson fikr-mulohazasi hisobga olinib, qo‘shimcha o‘qitiladi.

PPO ning asosiy g‘oyasi — siyosatni hozirgi holatdan juda uzoqlashmasdan yangilash, bu o‘qitishning barqarorligini ta’minlaydi. Buning uchun, maxsus yo‘qotish funksiyasi ishlatiladi, u yangilash miqdorini cheklaydi.

PPO da yo‘qotish odatda quyidagicha hisoblanadi:

L^{CLIP}(	heta) = \mathbb{E}_t \left[ \min \left( r_t(\theta) \hat{A}_t, \text{clip}(r_t(\theta), 1 - \epsilon, 1 + \epsilon) \hat{A}_t \right) \right]

bu yerda:

• $r_t(\theta) = \frac{\pi_\theta(a_t|s_t)}{\pi_{\theta_{old}}(a_t|s_t)}$ — yangi va eski siyosat ehtimolliklarining nisbati;
• $\hat{A}_t$ — afzallik bahosi;
• $\epsilon$ — hiperparametr, ruxsat etilgan o‘zgarishlar diapazonini belgilaydi.

Shu tarzda, yo‘qotish siyosatni juda o‘zgartiradigan yangilanishlarni jazolaydi va shunday qilib, o‘qitishning barqarorligi va samaradorligini saqlaydi. RLHF da PPO modelni inson fikr-mulohazasi asosida o‘ptirish uchun ishlatiladi.