¿Qué son IPO, KTO, ORPO como alternativas a DPO?

En el contexto del entrenamiento de grandes modelos de lenguaje (LLM) y el ajuste fino, existen varios métodos de optimización de parámetros del modelo, además del DPO (Optimización de Preferencias Directas). Entre ellos:

• IPO (Optimización de Preferencias Implícitas) — un método que utiliza señales de preferencia indirectas, sin requerir etiquetas explícitas de preferencia, lo que permite entrenar el modelo con un conjunto de datos más amplio.

• KTO (Optimización de Transferencia de Conocimiento) — un enfoque en el que los conocimientos de un modelo o tarea se transfieren a otro mediante optimización, mejorando el entrenamiento en la tarea objetivo.

• ORPO (Optimización de Preferencias por Refuerzo fuera de la política) — un método de optimización de preferencias que utiliza RL off-policy, donde el entrenamiento se realiza con datos recopilados fuera de la política actual, aumentando la eficiencia y estabilidad del aprendizaje.

Todos estos métodos están dirigidos a mejorar la calidad y eficiencia del entrenamiento de modelos considerando las preferencias de los usuarios o la especificidad de la tarea, ofreciendo alternativas al clásico DPO.