Mis on PPO RLHF kontekstis ja kuidas arvutatakse kaotus?

PPO (Proximal Policy Optimization) on poliitika optimeerimise algoritm tugevdamise õppimises, mida laialdaselt kasutatakse RLHF-is (Inimese tagasisidega tugevdamise õppimine), et täiendavalt treenida keelemudeleid, võttes arvesse inimeste tagasisidet.

PPO peamine idee on uuendada poliitikat nii, et see ei eralduks liiga palju praegusest, mis takistab õppimise stabiilsust. Selleks kasutatakse spetsiaalset kaotusefunktsiooni, mis piirab uuendamise suurust.

PPO-s arvutatakse kaotus tavaliselt järgmiselt:

L^{CLIP}(	heta) = \mathbb{E}_t \left[ \min \left( r_t(\theta) \hat{A}_t, \text{clip}(r_t(\theta), 1 - \epsilon, 1 + \epsilon) \hat{A}_t \right) \right]

kus:

• $r_t(\theta) = \frac{\pi_\theta(a_t|s_t)}{\pi_{\theta_{old}}(a_t|s_t)}$ — uue ja vana poliitika tõenäosuste suhe;
• $\hat{A}_t$ — eelise hinnang;
• $\epsilon$ — hüperparameeter, mis määrab lubatud muutuste vahemiku.

Sel viisil karistab kaotus neid uuendusi, mis muudavad poliitikat liiga palju, säilitades õppimise stabiilsuse ja tõhususe. RLHF-is kasutatakse PPO-d mudeli optimeerimiseks, võttes arvesse inimeste tagasisidest saadud preemiaid.