Cos'è il bias logit e dove viene utilizzato?

Il bias del logit è un metodo per modificare le probabilità di scelta di parole o token nei modelli linguistici (LLM) aggiungendo un bias ai logit, che sono valori che, prima di applicare la funzione softmax, vengono trasformati in probabilità.

L'applicazione del bias del logit permette di controllare la probabilità di comparsa di certe parole o frasi nelle risposte del modello. Ad esempio, si può aumentare la probabilità di scegliere termini necessari o, al contrario, ridurre la probabilità di parole indesiderate.

Questo viene utilizzato per:

• Controllare la generazione di testo (ad esempio, evitare parole tossiche)
• Regolare il comportamento del modello per compiti specifici
• Migliorare la qualità e la rilevanza delle risposte

Esempio: se si aumenta il logit per la parola "Java" di un valore positivo, il modello avrà maggiori probabilità di scegliere questa parola nella risposta.