Τι είναι το logit bias και πού χρησιμοποιείται;

Η προκατάληψη του logit είναι μια μέθοδος τροποποίησης των πιθανοτήτων επιλογής λέξεων ή tokens σε γλωσσικά μοντέλα (LLM) μέσω της προσθήκης μιας προκατάληψης (bias) στα logits, που είναι τιμές που πριν από την εφαρμογή της λειτουργίας softmax μετατρέπονται σε πιθανότητες.

Η εφαρμογή της προκατάληψης logit επιτρέπει τον έλεγχο της πιθανότητας εμφάνισης συγκεκριμένων λέξεων ή φράσεων στις απαντήσεις του μοντέλου. Για παράδειγμα, μπορεί να αυξήσει την πιθανότητα επιλογής απαραίτητων όρων ή, αντίθετα, να μειώσει την πιθανότητα ανεπιθύμητων λέξεων.

Αυτό χρησιμοποιείται για:

• Έλεγχο της δημιουργίας κειμένου (π.χ., αποφυγή τοξικών λέξεων)
• Ρύθμιση της συμπεριφοράς του μοντέλου για συγκεκριμένες εργασίες
• Βελτίωση της ποιότητας και της σχετικότητας των απαντήσεων

Παράδειγμα: αν αυξήσετε το logit για τη λέξη "Java" με μια θετική τιμή, το μοντέλο θα έχει μεγαλύτερη πιθανότητα να επιλέξει αυτή τη λέξη στην απάντηση.