Was sind IPO, KTO, ORPO als Alternativen zu DPO?

Im Kontext des Trainings großer Sprachmodelle (LLM) und des Fine-Tunings gibt es verschiedene Methoden zur Optimierung der Modellparameter, neben DPO (Direkte Präferenzoptimierung). Dazu gehören:

• IPO (Implizite Präferenzoptimierung) — eine Methode, die indirekte Präferenzsignale nutzt, ohne explizite Präferenzmarkierungen zu benötigen, was es ermöglicht, das Modell auf einer breiteren Datenbasis zu trainieren.

• KTO (Wissensübertragungsoptimierung) — ein Ansatz, bei dem Wissen von einem Modell oder einer Aufgabe durch Optimierung auf ein anderes übertragen wird, um das Training der Zielaufgabe zu verbessern.

• ORPO (Off-Policy Verstärkungspräferenzoptimierung) — eine Methode zur Optimierung von Präferenzen unter Verwendung von Off-Policy-RL, bei der das Training auf Daten basiert, die außerhalb der aktuellen Politik gesammelt wurden, was die Effizienz und Stabilität des Lernens erhöht.

Alle diese Methoden zielen darauf ab, die Qualität und Effizienz des Modelltrainings unter Berücksichtigung der Präferenzen der Nutzer oder der Aufgaben-spezifikationen zu verbessern und bieten Alternativen zum klassischen DPO.