¿Qué es el suavizado de Jelinek-Mercer?

El suavizado de Jelinek-Mercer es un método de suavizado de probabilidades en modelos de lenguaje, utilizado para resolver el problema de probabilidad cero en expresiones poco frecuentes o no vistas. Se basa en la interpolación lineal de estimaciones de probabilidad de modelos más específicos y más generales.

La idea es que la probabilidad de una palabra en un contexto se calcula como una suma ponderada de la probabilidad según un modelo específico (por ejemplo, bigramas) y la probabilidad según un modelo más general (por ejemplo, unigramas). El peso (lambda) determina cuánto confiamos en cada modelo.

Fórmula:

P_{JM}(w_i|w_{i-1}) = \lambda P_{ML}(w_i|w_{i-1}) + (1 - \lambda) P_{ML}(w_i)

donde:

• (P_{ML}) es la estimación de máxima verosimilitud (MLE) de la probabilidad,
• (\lambda) es el parámetro de suavizado (0 ≤ (\lambda) ≤ 1).

Esto ayuda a evitar probabilidades nulas y mejora la calidad del modelo de lenguaje, especialmente cuando se trabaja con datos limitados.