Kas ir logit bias un kur tas tiek izmantots?

Logit bias ir metode, kas maina vārdu vai tokenu izvēles varbūtību valodu modeļos (LLM), pievienojot novirzi (bias) pie logitām — vērtībām, kas pirms softmax funkcijas piemērošanas tiek pārveidotas par varbūtībām.

Logit bias piemērošana ļauj kontrolēt noteiktu vārdu vai frāžu parādīšanās varbūtību modeļa atbildēs. Piemēram, var palielināt nepieciešamo terminu izvēles iespēju vai, gluži pretēji, samazināt nevēlamu vārdu iespējamību.

Tas tiek izmantots:

• Teksta ģenerēšanas kontrole (piemēram, toksisku vārdu izvairīšanās)
• Modeļa uzvedības pielāgošana konkrētiem uzdevumiem
• Atbilžu kvalitātes un relevances uzlabošana

Piemērs: ja palielināt logitā "Java" vārdam pozitīvu vērtību, modelis ar lielāku varbūtību izvēlēsies šo vārdu atbildē.