Mi az a PPO az RLHF kontextusában, és hogyan számítják ki a veszteséget?

A PPO (Proximal Policy Optimization) egy politikai optimalizációs algoritmus a megerősítő tanulásban, amelyet széles körben használnak RLHF-ben (Humán Visszacsatolással Támogatott Megerősítő Tanulás) nyelvi modellek további tanítására, figyelembe véve az emberi visszacsatolást.

A PPO fő ötlete, hogy a politikát úgy frissítse, hogy az ne térjen el túlzottan a jelenlegitől, ezáltal megakadályozva a tanulás instabilitását. Ehhez egy speciális veszteségfüggvényt alkalmaznak, amely korlátozza a frissítés mértékét.

A PPO-ban a veszteséget általában így számítják ki:

L^{CLIP}(	heta) = \mathbb{E}_t \left[ \min \left( r_t(\theta) \hat{A}_t, \text{clip}(r_t(\theta), 1 - \epsilon, 1 + \epsilon) \hat{A}_t \right) \right]

ahol:

• $r_t(\theta) = \frac{\pi_\theta(a_t|s_t)}{\pi_{\theta_{old}}(a_t|s_t)}$ — a valószínűségi arány az új és a régi politika között az $a_t$ akcióra a $s_t$ állapotban;
• $\hat{A}_t$ — az előny becslése;
• $\epsilon$ — hiperparaméter, amely meghatározza az engedélyezett változások tartományát.

Így a veszteség bünteti azokat a frissítéseket, amelyek túl nagy mértékben változtatják meg a politikát, ezáltal fenntartva a tanulás stabilitását és hatékonyságát. RLHF-ben a PPO-t a modell optimalizálására használják, figyelembe véve az emberi visszacsatolásból származó jutalmakat.