Ako pripraviť súbor preferencií pre DPO?

Príprava datasetu preferencií (preference dataset) pre DPO (Priama optimalizácia preferencií) si vyžaduje zozbieranie dvojíc dát, kde jedna alternatíva je jasne preferovaná pred druhou.

Hlavné kroky:

1. Zber dát preferencií: Napríklad, používateľ vyberie jednu odpoveď z viacerých, alebo expert hodnotí možnosti.
2. Formátovanie: Každý záznam by mal obsahovať pár možností (A a B) a štítok, ktorý indikuje, že A je preferované pred B.
3. Vyváženie: Odporúča sa, aby boli dáta rôznorodé a vyvážené z hľadiska tém a štýlov.
4. Čistenie: Odstránenie nejasných alebo protirečivých dvojíc.
5. Tokenizácia a príprava na model: Prevod textov do formátu vhodného na tréning.

Príklad záznamu:

{
  "prompt": "Otázka alebo kontext",
  "chosen": "Preferovaná odpoveď",
  "rejected": "Menej preferovaná odpoveď"
}

Tento dataset umožňuje modelu naučiť sa vyberať najlepšie odpovede na základe preferencií.