Co je to Jelinek-Mercerovo vyhlazování?

Jelinek-Mercerovo vyhlazování — je metoda vyhlazování pravděpodobností v jazykových modelech, která se používá k řešení problému nulové pravděpodobnosti u vzácných nebo neviděných spojení slov. Je založena na lineální interpolaci odhadů pravděpodobností z přesnějších a obecnějších modelů.

Myšlenka je, že pravděpodobnost slova v kontextu je vypočítána jako vážený součet pravděpodobností podle specifického modelu (například bigramy) a pravděpodobností podle obecnějšího modelu (například unigramy). Váha (lambda) určuje, jak moc důvěřujeme každému modelu.

Vzorec:

P_{JM}(w_i|w_{i-1}) = \lambda P_{ML}(w_i|w_{i-1}) + (1 - \lambda) P_{ML}(w_i)

kde:

• (P_{ML}) je odhad maximální věrohodnosti (MLE) pravděpodobnosti,
• (\lambda) je parametr vyhlazování (0 ≤ (\lambda) ≤ 1).

Toto pomáhá zabránit nulovým pravděpodobnostem a zlepšit kvalitu jazykového modelu, zejména při práci s omezenými daty.