Čo je to Jelinek-Mercer vyhladzovanie?

Jelinek-Mercerovo vyhladenie — toto je metóda vyhladenia pravdepodobností v jazykových modeloch, ktorá sa používa na riešenie problému nulovej pravdepodobnosti pri zriedkavých alebo nevidených spojeniach slov. Je založená na lineárnej interpolácii odhadov pravdepodobností z presnejších a všeobecnejších modelov.

Myšlienka je, že pravdepodobnosť slova v kontexte sa vypočíta ako vážený súčet pravdepodobností podľa špecifického modelu (napríklad, bigramy) a pravdepodobností podľa všeobecnejšieho modelu (napríklad, unigramy). Váha (lambda) určuje, ako veľmi dôverujeme každému modelu.

Vzorec:

P_{JM}(w_i|w_{i-1}) = \lambda P_{ML}(w_i|w_{i-1}) + (1 - \lambda) P_{ML}(w_i)

kde:

• (P_{ML}) je odhad maximálnej pravdepodobnosti (MLE),
• (\lambda) je parameter vyhladenia (0 ≤ (\lambda) ≤ 1).

Toto pomáha vyhnúť sa nulovým pravdepodobnostiam a zlepšiť kvalitu jazykového modelu, najmä pri práci s obmedzenými dátami.