Qu'est-ce que le DPO et pourquoi est-il plus populaire que le PPO dans les modèles ouverts?

DPO (Optimisation de la Préférence Directe) est une méthode d'optimisation de modèles basée sur l'apprentissage direct des préférences, qui maximise directement la fonction d'utilité reflétant les préférences de l'utilisateur ou une métrique cible. Contrairement à PPO (Optimisation Proximale de Politique), qui est une méthode d'apprentissage par renforcement utilisant des procédures d'optimisation complexes avec des contraintes sur les mises à jour de la politique, DPO simplifie le processus en entraînant le modèle directement sur des préférences par paire sans nécessiter un cycle RL complexe.

DPO est devenu plus populaire que PPO dans les modèles ouverts car:

• Plus simple à mettre en œuvre et à faire évoluer : ne nécessite pas d'apprentissage RL complexe avec des politiques et des valeurs.
• Entraînement plus stable : évite les instabilités liées aux méthodes RL.
• Meilleure correspondance aux préférences : optimise directement la fonction de préférence, ce qui améliore la qualité des réponses.

Ainsi, DPO permet un affinement plus efficace et plus simple des grands modèles de langage selon les préférences des utilisateurs, ce qui est particulièrement important pour les modèles ouverts où les ressources et la transparence sont critiques.