Čo je RLHF? Opíšte tri fázy učenia.

RLHF (Učenie posilňovaním s ľudskou spätnou väzbou) je metóda tréningu modelov, najmä veľkých jazykových modelov (LLM), ktorá kombinuje učenie posilňovaním a ľudskú spätnú väzbu na zlepšenie kvality odpovedí.

Tri hlavné fázy tréningu RLHF:

1. Zber dát s ľudskou spätnou väzbou — experti hodnotia alebo zoradia odpovede modelu na rôzne požiadavky, čím vytvárajú dataset preferencií.

2. Tréning hodnotiaceho modelu (model odmien) — na základe zozbieraných dát sa trénuje model, ktorý predpovedá, ako dobrá je odpoveď z ľudskej perspektívy.

3. Učenie posilňovaním (RL) — pôvodný jazykový model sa ďalej trénuje pomocou RL algoritmov (napríklad PPO), optimalizujúc svoje odpovede tak, aby maximalizoval odmenu predpovedanú hodnotiacim modelom.

Tento prístup umožňuje modelu lepšie sa prispôsobiť ľudským očakávaniam a zlepšiť kvalitu generovania textu, pričom zohľadňuje nielen pravdepodobnosť, ale aj preferencie používateľov.