O que é o ajuste fino supervisionado (SFT)? Que dados são necessários?

A afinação supervisionada (SFT) é um processo de retreinamento de um modelo previamente treinado (por exemplo, um grande modelo de linguagem) com dados anotados, com o objetivo de adaptá-lo a uma tarefa específica. Ao contrário do treino do zero, o SFT utiliza o conhecimento já existente do modelo e o refina.

Para o SFT, são necessários dados com entradas claras e saídas corretas correspondentes (etiquetas). Por exemplo, para uma tarefa de classificação — textos com categorias; para geração de respostas — pares pergunta-resposta. Esses dados permitem que o modelo aprenda a fornecer o resultado desejado em exemplos específicos.

Exemplo: retreinamento de um LLM em um conjunto de diálogos, onde cada pergunta corresponde a uma resposta correta, para melhorar a qualidade das respostas num chatbot.