Qu'est-ce que le fine-tuning supervisé (SFT) ? Quelles données sont nécessaires ?

Le fine-tuning supervisé (SFT) est un processus de réentraînement d’un modèle préalablement entraîné (par exemple, un grand modèle de langage) sur des données annotées afin de l’adapter à une tâche spécifique. Contrairement à un entraînement à partir de zéro, le SFT utilise les connaissances existantes du modèle et les affine.

Pour le SFT, des données avec des entrées claires et des sorties correctes correspondantes (étiquettes) sont nécessaires. Par exemple, pour une tâche de classification — des textes avec des catégories, pour la génération de réponses — des paires question-réponse. Ces données permettent au modèle d’apprendre à produire le résultat souhaité sur des exemples précis.

Exemple : un entraînement supplémentaire d’un LLM sur un ensemble de dialogues, où chaque question a une réponse correcte, afin d’améliorer la qualité des réponses dans un chatbot.