DPO üçün üstünlük məlumatları dəstini necə hazırlamaq olar?

DPO (Birbaşa Seçimi Optimizasiyası) üçün üstünlük məlumat dəstini hazırlamaq üçün, bir alternativ digərindən açıq şəkildə üstün olan məlumat cütlərini toplamaq vacibdir.

Əsas addımlar:

1. Üstünlük məlumatlarının toplanması: Məsələn, istifadəçi bir neçə cavab arasından birini seçir və ya mütəxəssis variantları qiymətləndirir.
2. Formatlama: Hər qeyd A və B variantlarını və A-nın B-dən üstün olduğunu göstərən bir etiket içərməlidir.
3. Balanslaşdırma: Məlumatların mövzular və üslublar baxımından müxtəlif və balanslı olması tövsiyə olunur.
4. Təmizləmə: Qeyri-müəyyən və ya ziddiyyətli cütlüklərin çıxarılması.
5. Tokenləşdirmə və model üçün hazırlıq: Mətnləri təlim üçün uyğun formata çevirmək.

Nümunə qeyd:

{
  "prompt": "Sual və ya kontekst",
  "chosen": "Seçilən cavab",
  "rejected": "Daha az üstün olan cavab"
}

Bu məlumat dəsti modelin üstünlüklərə əsaslanaraq ən yaxşı cavabları seçməsini öyrənməsinə imkan verir.