Ce este biasul logit și unde este utilizat?

Bias-ul logit este o metodă de modificare a probabilităților de alegere a cuvintelor sau tokenurilor în modelele lingvistice (LLM) prin adăugarea unui bias (bias) la logits, care sunt valori ce sunt transformate în probabilități înainte de aplicarea funcției softmax.

Aplicarea bias-ului de logit permite controlul probabilității de apariție a anumitor cuvinte sau fraze în răspunsurile modelului. De exemplu, se poate crește probabilitatea de a selecta termeni necesari sau, invers, de a reduce probabilitatea cuvintelor nedorite.

Aceasta este folosită pentru:

• Controlul generării de text (de exemplu, evitarea cuvintelor toxice)
• Ajustarea comportamentului modelului pentru sarcini specifice
• Îmbunătățirea calității și relevanței răspunsurilor

Exemplu: dacă crești logit-ul pentru cuvântul "Java" cu o valoare pozitivă, modelul va avea o probabilitate mai mare de a alege acest cuvânt în răspuns.