Qu'est-ce que IPO, KTO, ORPO en tant qu'alternatives à DPO?

Dans le contexte de l’entraînement de grands modèles de langage (LLM) et du fine-tuning, il existe différentes méthodes d’optimisation des paramètres du modèle, en alternative au DPO (Optimisation des Préférences Directes). Parmi elles :

• IPO (Optimisation des Préférences Implicites) — une méthode qui utilise des signaux de préférence indirects, sans nécessiter d’étiquettes explicites de préférence, permettant d’entraîner le modèle sur un ensemble de données plus large.

• KTO (Optimisation du Transfert de Connaissances) — une approche où les connaissances d’un modèle ou d’une tâche sont transférées à une autre via l’optimisation, améliorant l’apprentissage sur la tâche cible.

• ORPO (Optimisation des Préférences par Renforcement Hors Politique) — une méthode d’optimisation des préférences utilisant le RL hors politique, où l’apprentissage se fait sur des données recueillies en dehors de la politique actuelle, ce qui augmente l’efficacité et la stabilité de l’apprentissage.

Toutes ces méthodes visent à améliorer la qualité et l’efficacité de l’apprentissage des modèles en tenant compte des préférences des utilisateurs ou de la spécificité de la tâche, en proposant des alternatives au DPO classique.