Qu'est-ce que le biais logit et où est-il utilisé?

Le biais de logit est une méthode de modification des probabilités de sélection de mots ou de tokens dans les modèles linguistiques (LLM) en ajoutant un biais (bias) aux logits, qui sont des valeurs qui, avant d'appliquer la fonction softmax, sont transformées en probabilités.

L'application du biais de logit permet de contrôler la probabilité d'apparition de certains mots ou phrases dans les réponses du modèle. Par exemple, on peut augmenter la probabilité de choisir des termes nécessaires ou, au contraire, réduire la probabilité de mots indésirables.

Cela est utilisé pour:

• Contrôler la génération de texte (par exemple, éviter les mots toxiques)
• Ajuster le comportement du modèle pour des tâches spécifiques
• Améliorer la qualité et la pertinence des réponses

Exemple : si l'on augmente le logit pour le mot "Java" d'une valeur positive, le modèle aura plus de chances de choisir ce mot dans la réponse.