Qu'est-ce que le lissage de Jelinek-Mercer?

Lissage de Jelinek-Mercer — c’est une méthode de lissage des probabilités dans les modèles linguistiques, utilisée pour résoudre le problème de probabilité nulle pour les expressions rares ou non rencontrées. Il repose sur une interpolation linéaire des estimations de probabilités provenant de modèles plus spécifiques et plus généraux.

L’idée est que la probabilité d’un mot dans un contexte est calculée comme une somme pondérée de la probabilité selon un modèle spécifique (par exemple, bigrammes) et la probabilité selon un modèle plus général (par exemple, unigrammes). Le poids (lambda) détermine à quel point nous faisons confiance à chaque modèle.

Formule:

P_{JM}(w_i|w_{i-1}) = \lambda P_{ML}(w_i|w_{i-1}) + (1 - \lambda) P_{ML}(w_i)

où:

• (P_{ML}) est l’estimation de la vraisemblance maximale (MLE) de la probabilité,
• (\lambda) est le paramètre de lissage (0 ≤ (\lambda) ≤ 1).

Cela permet d’éviter les probabilités nulles et d’améliorer la qualité du modèle linguistique, surtout lorsqu’on travaille avec des données limitées.