Kā sagatavot preferences datu kopu DPO?

Lai sagatavotu preferenču datu kopu (preference dataset) DPO (Tieša preferenču optimizācija), ir svarīgi savākt datu pārus, kuros viena alternatīva ir skaidri priekšroka otra priekšā.

Galvenie soļi:

1. Preferenču datu vākšana: Piemēram, lietotājs izvēlas vienu atbildi no vairākām, vai eksperts novērtē iespējas.
2. Formatēšana: Katram ierakstam jābūt ar pāri opciju (A un B) un marķējumu, kas norāda, ka A ir priekšroka pār B.
3. Sabalansēšana: Ieteicams, lai dati būtu daudzveidīgi un līdzsvaroti pēc tematiem un stiliem.
4. Tīrīšana: Noņemt neskaidrus vai pretrunīgus pārus.
5. Tokenizācija un sagatavošana modelim: Tekstu pārvēršana piemērotā formātā apmācībai.

Piemēra ieraksts:

{
  "prompt": "Jautājums vai konteksts",
  "chosen": "Priekšroka sniegtā atbilde",
  "rejected": "Mazāk priekšroka sniegtā atbilde"
}

Šis datu kopums ļauj modelim iemācīties izvēlēties labākās atbildes, balstoties uz priekšrocībām.