Co je RLHF? Popište tři fáze učení.

RLHF (Reinforcement Learning s lidskou zpětnou vazbou) je metoda tréninku modelů, zejména velkých jazykových modelů (LLM), která kombinuje učení posilováním a lidskou zpětnou vazbu za účelem zlepšení kvality odpovědí.

Tři hlavní fáze tréninku RLHF:

1. Sbírání dat s lidskou zpětnou vazbou — odborníci hodnotí nebo řadí odpovědi modelu na různé požadavky, čímž vytvářejí dataset preferencí.

2. Trénink hodnotícího modelu (model odměn) — na základě sesbíraných dat se trénuje model, který předpovídá, jak dobrá je odpověď z pohledu člověka.

3. Učení posilováním (RL) — původní jazykový model je dále trénován pomocí algoritmů RL (například PPO), optimalizujíc své odpovědi tak, aby maximalizoval odměnu předpovězenou hodnotícím modelem.

Tento přístup umožňuje modelu lépe odpovídat lidským očekáváním a zlepšovat kvalitu generace textu, přičemž zohledňuje nejen pravděpodobnost, ale i preference uživatelů.