Wat is RLHF? Beschrijf de drie fasen van training.

RLHF (Reinforcement Learning with Human Feedback) is een methode voor het trainen van modellen, vooral grote taalmodellen (LLM), die reinforcement learning en menselijke feedback combineert om de kwaliteit van antwoorden te verbeteren.

De drie hoofd fasen van RLHF-training:

1. Verzamelen van gegevens met menselijke feedback — experts beoordelen of rangschikken de antwoorden van het model op verschillende verzoeken, waardoor een voorkeurendataset ontstaat.

2. Training van het beoordelingsmodel (beloningsmodel) — op basis van de verzamelde gegevens wordt een model getraind dat voorspelt hoe goed een antwoord is vanuit menselijk perspectief.

3. Reinforcement learning (RL) — het oorspronkelijke taalmodel wordt verder getraind met behulp van RL-algoritmen (bijvoorbeeld PPO), waarbij de antwoorden worden geoptimaliseerd om de door het beoordelingsmodel voorspelde beloning te maximaliseren.

Deze aanpak stelt het model in staat om beter aan menselijke verwachtingen te voldoen en de kwaliteit van tekstgeneratie te verbeteren, rekening houdend met niet alleen de waarschijnlijkheid, maar ook de voorkeuren van gebruikers.