Cos'è la smoothing di Jelinek-Mercer?

Smoothing di Jelinek-Mercer — è un metodo di smoothing delle probabilità nei modelli linguistici, utilizzato per risolvere il problema della probabilità zero in espressioni rare o non incontrate. Si basa sull'interpolazione lineare delle stime di probabilità di modelli più specifici e più generali.

L'idea è che la probabilità di una parola nel contesto venga calcolata come una somma ponderata della probabilità secondo un modello specifico (ad esempio, bigrammi) e la probabilità secondo un modello più generale (ad esempio, unigrammi). Il peso (lambda) determina quanto ci fidiamo di ciascun modello.

Formula:

P_{JM}(w_i|w_{i-1}) = \lambda P_{ML}(w_i|w_{i-1}) + (1 - \lambda) P_{ML}(w_i)

dove:

• (P_{ML}) è la stima di massima verosimiglianza (MLE) della probabilità,
• (\lambda) è il parametro di smoothing (0 ≤ (\lambda) ≤ 1).

Questo aiuta a evitare probabilità nulle e migliorare la qualità del modello linguistico, specialmente quando si lavora con dati limitati.