Kas ir PPO RLHF kontekstā un kā tiek aprēķināta zaudējumu?

PPO (Proximal Policy Optimization) ir algoritms politikas optimizācijā pastiprināšanas mācībās, kas plaši tiek izmantots RLHF (Pastiprināšanas mācīšanās ar cilvēka atsauksmēm) kontekstā, lai turpinātu apmācīt valodas modeļus, ņemot vērā cilvēka atsauksmes.

PPO galvenā ideja ir atjaunināt politiku tā, lai tā nepārlieku atšķirtos no pašreizējās, kas novērš mācīšanās nestabilitāti. Tam tiek izmantota īpaša zaudējumu funkcija, kas ierobežo atjauninājuma apjomu.

PPO parasti tiek aprēķināta šādi:

L^{CLIP}(	heta) = \mathbb{E}_t \left[ \min \left( r_t(\theta) \hat{A}_t, \text{clip}(r_t(\theta), 1 - \epsilon, 1 + \epsilon) \hat{A}_t \right) \right]

kur:

• $r_t(\theta) = \frac{\pi_\theta(a_t|s_t)}{\pi_{\theta_{old}}(a_t|s_t)}$ — jaunas un vecs politikas varbūtības attiecība veiksmēm $a_t$ stāvoklī $s_t$;
• $\hat{A}_t$ — priekšrocības novērtējums;
• $\epsilon$ — hiperparametrs, kas nosaka atļauto izmaiņu diapazonu.

Šādā veidā zaudējums sodīs pārāk lielas izmaiņas politikā, saglabājot mācīšanās stabilitāti un efektivitāti. RLHF kontekstā PPO tiek izmantots modeļa optimizācijai, ņemot vērā cilvēka atsauksmju iegūtos apbalvojumus.