O que são IPO, KTO, ORPO como alternativas ao DPO?

No contexto do treino de grandes modelos de linguagem (LLM) e do ajuste fino, existem vários métodos de otimização de parâmetros do modelo, além do DPO (Otimização de Preferências Diretas). Entre eles:

• IPO (Otimização de Preferências Implícitas) — um método que utiliza sinais de preferência indiretos, sem necessidade de etiquetas explícitas de preferência, permitindo treinar o modelo com um conjunto de dados mais amplo.

• KTO (Otimização de Transferência de Conhecimento) — uma abordagem na qual conhecimentos de um modelo ou tarefa são transferidos para outro através de otimização, melhorando o treino na tarefa alvo.

• ORPO (Otimização de Preferências por Reforço Fora de Política) — um método de otimização de preferências usando RL off-policy, onde o treino ocorre com dados coletados fora da política atual, aumentando a eficiência e estabilidade do aprendizado.

Todos esses métodos visam melhorar a qualidade e eficiência do treino de modelos considerando as preferências dos usuários ou a especificidade da tarefa, oferecendo alternativas ao DPO clássico.