O que é RLHF? Descreva as três etapas do treinamento.

RLHF (Aprendizagem por Reforço com Feedback Humano) é um método de treino de modelos, especialmente grandes modelos de linguagem (LLM), que combina aprendizagem por reforço e feedback humano para melhorar a qualidade das respostas.

Três etapas principais do treino RLHF:

1. Coleta de dados com feedback humano — especialistas avaliam ou classificam as respostas do modelo a várias solicitações, formando um conjunto de dados de preferências.

2. Treino do modelo de avaliação (modelo de recompensa) — com base nos dados coletados, treina-se um modelo que prevê o quão boa é uma resposta do ponto de vista humano.

3. Treino com reforço (RL) — o modelo de linguagem original é ajustado adicionalmente usando algoritmos de RL (por exemplo, PPO), otimizando suas respostas para maximizar a recompensa prevista pelo modelo de avaliação.

Essa abordagem permite que o modelo se ajuste melhor às expectativas humanas e melhore a qualidade da geração de texto, considerando não apenas a probabilidade, mas também as preferências dos utilizadores.