O que é o suavizador de Jelinek-Mercer?

Suavização de Jelinek-Mercer — é um método de suavização de probabilidades em modelos de linguagem, utilizado para resolver o problema de probabilidade zero em expressões raras ou não encontradas. Baseia-se na interpolação linear de estimativas de probabilidades de modelos mais específicos e mais gerais.

A ideia é que a probabilidade de uma palavra no contexto seja calculada como uma soma ponderada da probabilidade de acordo com um modelo específico (por exemplo, bigramas) e a probabilidade de acordo com um modelo mais geral (por exemplo, unigramas). O peso (lambda) determina o quanto confiamos em cada modelo.

Fórmula:

P_{JM}(w_i|w_{i-1}) = \lambda P_{ML}(w_i|w_{i-1}) + (1 - \lambda) P_{ML}(w_i)

onde:

• (P_{ML}) é a estimativa de máxima verosimilhança (MLE) da probabilidade,
• (\lambda) é o parâmetro de suavização (0 ≤ (\lambda) ≤ 1).

Isso ajuda a evitar probabilidades nulas e melhora a qualidade do modelo de linguagem, especialmente ao trabalhar com dados limitados.