¿Qué es el ajuste fino supervisado (SFT)? ¿Qué datos se necesitan?

El ajuste fino supervisado (SFT) es un proceso de entrenamiento adicional de un modelo previamente entrenado (por ejemplo, un gran modelo de lenguaje) con datos anotados para adaptarlo a una tarea específica. A diferencia del entrenamiento desde cero, el SFT utiliza los conocimientos existentes del modelo y los refina.

Para el SFT, se necesitan datos con entradas claras y salidas correctas correspondientes (etiquetas). Por ejemplo, para una tarea de clasificación, textos con categorías; para generación de respuestas, pares de pregunta y respuesta. Estos datos permiten que el modelo aprenda a dar el resultado deseado en ejemplos concretos.

Ejemplo: entrenamiento adicional de un LLM en un conjunto de diálogos, donde a cada pregunta corresponde una respuesta correcta, para mejorar la calidad de las respuestas en un chatbot.