Что такое DPO и почему он популярнее PPO в открытых моделях?

DPO (Direct Preference Optimization) — это метод оптимизации моделей на основе прямого обучения предпочтениям, который напрямую максимизирует функцию полезности, отражающую предпочтения пользователя или целевую метрику. В отличие от PPO (Proximal Policy Optimization), который является методом обучения с подкреплением и использует сложные процедуры оптимизации с ограничениями на обновления политики, DPO упрощает процесс, обучая модель напрямую на парных предпочтениях без необходимости в сложном RL-цикле.

DPO стал популярнее PPO в открытых моделях, потому что:

• Проще в реализации и масштабировании: не требует сложного RL-обучения с политиками и значениями.
• Более стабильное обучение: избегает нестабильностей, связанных с RL-методами.
• Лучшее соответствие предпочтениям: напрямую оптимизирует функцию предпочтения, что улучшает качество ответов.

Таким образом, DPO позволяет эффективнее и проще дообучать большие языковые модели на предпочтениях пользователей, что особенно важно для открытых моделей, где ресурсы и прозрачность критичны.