¿Qué es RLHF? Describa las tres etapas de entrenamiento.

RLHF (Aprendizaje por Refuerzo con Retroalimentación Humana) es un método de entrenamiento de modelos, especialmente grandes modelos de lenguaje (LLM), que combina el aprendizaje por refuerzo y la retroalimentación humana para mejorar la calidad de las respuestas.

Tres etapas principales del entrenamiento RLHF:

1. Recolección de datos con retroalimentación humana — expertos evalúan o clasifican las respuestas del modelo a diversas solicitudes, formando un conjunto de datos de preferencias.

2. Entrenamiento del modelo de evaluación (modelo de recompensa) — basado en los datos recopilados, se entrena un modelo que predice qué tan buena es una respuesta desde la perspectiva humana.

3. Entrenamiento con refuerzo (RL) — el modelo de lenguaje original se ajusta adicionalmente usando algoritmos de RL (por ejemplo, PPO), optimizando sus respuestas para maximizar la recompensa predicha por el modelo de evaluación.

Este enfoque permite que el modelo se ajuste mejor a las expectativas humanas y mejore la calidad de la generación de texto, considerando no solo la probabilidad, sino también las preferencias de los usuarios.