Что такое Jelinek-Mercer smoothing?

Jelinek-Mercer smoothing — это метод сглаживания вероятностей в языковых моделях, используемый для решения проблемы нулевой вероятности у редких или невстречающихся словосочетаний. Он основан на линейном интерполировании оценок вероятностей из более специфичных и более общих моделей.

Идея в том, что вероятность слова в контексте считается как взвешенная сумма вероятности по конкретной модели (например, биграмме) и вероятности по более общей модели (например, униграмме). Вес (лямбда) определяет, насколько сильно мы доверяем каждой модели.

Формула:

P_{JM}(w_i|w_{i-1}) = \lambda P_{ML}(w_i|w_{i-1}) + (1 - \lambda) P_{ML}(w_i)

где:

• (P_{ML}) — максимальное правдоподобие (MLE) оценки вероятности,
• (\lambda) — параметр сглаживания (0 ≤ (\lambda) ≤ 1).

Это позволяет избежать нулевых вероятностей и улучшить качество языковой модели, особенно при работе с ограниченными данными.