Τι είναι η εξομάλυνση Jelinek-Mercer;

Η εξομάλυνση Jelinek-Mercer — είναι μια μέθοδος εξομάλυνσης πιθανοτήτων σε γλωσσικά μοντέλα, που χρησιμοποιείται για την επίλυση του προβλήματος της μηδενικής πιθανότητας σε σπάνιες ή μη εμφανιζόμενες φράσεις. Βασίζεται στην γραμμική παρεμβολή εκτιμήσεων πιθανοτήτων από πιο συγκεκριμένα και πιο γενικά μοντέλα.

Η ιδέα είναι ότι η πιθανότητα μιας λέξης στο πλαίσιο υπολογίζεται ως μια σταθμισμένη άθροιση της πιθανότητας σύμφωνα με ένα συγκεκριμένο μοντέλο (π.χ., bigram) και την πιθανότητα σύμφωνα με ένα πιο γενικό μοντέλο (π.χ., unigram). Το βάρος (lambda) καθορίζει πόσο εμπιστευόμαστε κάθε μοντέλο.

Τύπος:

P_{JM}(w_i|w_{i-1}) = \lambda P_{ML}(w_i|w_{i-1}) + (1 - \lambda) P_{ML}(w_i)

όπου:

• (P_{ML}) είναι η εκτίμηση μέγιστης πιθανοφάνειας (MLE) της πιθανότητας,
• (\lambda) είναι ο παράμετρος εξομάλυνσης (0 ≤ (\lambda) ≤ 1).

Αυτό βοηθά στην αποφυγή μηδενικών πιθανοτήτων και στη βελτίωση της ποιότητας του γλωσσικού μοντέλου, ειδικά όταν εργάζεστε με περιορισμένα δεδομένα.