Šta je logit bias i gde se koristi?

Bias logit je metoda modifikacije verovatnoća izbora reči ili tokena u jezičkim modelima (LLM) dodavanjem pomaka (bias) na logite — vrednosti koje pre primene funkcije softmax bivaju pretvorene u verovatnoće.

Primena bias-a logit-a omogućava kontrolu verovatnoće pojavljivanja određenih reči ili fraza u odgovorima modela. Na primer, može se povećati verovatnoća izbora potrebnih termina ili, obrnuto, smanjiti verovatnoća neželjenih reči.

Ovo se koristi za:

• Kontrolu generisanja teksta (npr. izbegavanje toksičnih reči)
• Podešavanje ponašanja modela za specifične zadatke
• Poboljšanje kvaliteta i relevantnosti odgovora

Primer: ako povećate logit za reč "Java" za pozitivan broj, model će sa većom verovatnoćom izabrati tu reč u odgovoru.