O que é DPO e por que é mais popular que PPO em modelos abertos?

O DPO (Otimização de Preferência Direta) é um método de otimização de modelos baseado no aprendizado direto de preferências, que maximiza diretamente a função de utilidade que reflete as preferências do usuário ou uma métrica alvo. Ao contrário do PPO (Otimização Proximal de Políticas), que é um método de aprendizado por reforço e utiliza procedimentos de otimização complexos com restrições nas atualizações de políticas, o DPO simplifica o processo treinando o modelo diretamente em preferências pareadas sem necessidade de um ciclo RL complexo.

O DPO tornou-se mais popular que o PPO em modelos abertos porque:

• Mais simples de implementar e escalar: não requer treinamento RL complexo com políticas e valores.
• Treinamento mais estável: evita instabilidades relacionadas aos métodos RL.
• Melhor alinhamento com preferências: otimiza diretamente a função de preferência, o que melhora a qualidade das respostas.

Assim, o DPO permite um ajuste mais eficiente e simples de grandes modelos de linguagem às preferências dos usuários, o que é especialmente importante para modelos abertos onde recursos e transparência são críticos.