Mis on Jelinek-Mercer sile?

Jelinek-Mercer siledus — see on meetod keelemudeliteer, mis kasutab lineaarset interpoleerimist tõenäosuste hinnangutes, et lahendada null-tõenäosuse probleemi harva või nähtamatute fraaside puhul. See põhineb spetsiifilisemate ja üldisemate mudelite tõenäosuste hinnangute lineaarsel interpoleerimisel.

Idee on, et sõna tõenäosus kontekstis arvutatakse kaalutud summana vastavalt spetsiifilisele mudelile (näiteks bigrammidele) ja üldisemale mudelile (näiteks unigrammidele). Kaal (lambda) määrab, kui palju me usaldame iga mudelit.

Vormel:

P_{JM}(w_i|w_{i-1}) = \lambda P_{ML}(w_i|w_{i-1}) + (1 - \lambda) P_{ML}(w_i)

kus:

• (P_{ML}) on maksimaalse tõenäosuse hinnang (MLE),
• (\lambda) on siledusparameeter (0 ≤ (\lambda) ≤ 1).

See aitab vältida null-tõenäosusi ja parandada keelemudeli kvaliteeti, eriti piiratud andmetega töötades.