Czym jest wygładzanie Jelinek-Mercer?

Wygładzanie Jelinek-Mercer — jest metodą wygładzania prawdopodobieństw w modelach językowych, używaną do rozwiązania problemu zerowego prawdopodobieństwa dla rzadkich lub nieznanych wyrażeń. Opiera się na liniowej interpolacji oszacowań prawdopodobieństwa z modeli bardziej szczegółowych i bardziej ogólnych.

Idea polega na tym, że prawdopodobieństwo słowa w kontekście jest obliczane jako ważona suma prawdopodobieństwa z modelu specyficznego (np. bigramy) i z modelu bardziej ogólnego (np. unigramy). Waga (lambda) określa, jak bardzo ufamy każdemu z modeli.

Wzór:

P_{JM}(w_i|w_{i-1}) = \lambda P_{ML}(w_i|w_{i-1}) + (1 - \lambda) P_{ML}(w_i)

gdzie:

• (P_{ML}) to oszacowanie maksymalnej wiarygodności (MLE) prawdopodobieństwa,
• (\lambda) to parametr wygładzania (0 ≤ (\lambda) ≤ 1).

To pozwala uniknąć zerowych prawdopodobieństw i poprawić jakość modelu językowego, szczególnie przy pracy z ograniczonymi danymi.