Wat is supervised fine-tuning (SFT)? Welke gegevens zijn nodig?

Supervised fine-tuning (SFT) is het proces van het verder trainen van een vooraf getraind model (bijvoorbeeld een groot taalmodel) op gelabelde gegevens om het aan te passen aan een specifieke taak. In tegenstelling tot vanaf nul trainen, gebruikt SFT de bestaande kennis van het model en verfijnt deze.

Voor SFT zijn gegevens nodig met duidelijke invoer en bijbehorende correcte uitvoer (labels). Bijvoorbeeld, voor een classificatietaak — teksten met categorieën; voor het genereren van antwoorden — vraag-antwoordparen. Deze gegevens stellen het model in staat om te leren het gewenste resultaat te produceren op specifieke voorbeelden.

Voorbeeld: verdere training van een LLM op een dialoogset, waarbij elke vraag een correct antwoord heeft, om de kwaliteit van de antwoorden in een chatbot te verbeteren.