Wat is Jelinek-Mercer smoothing?

Jelinek-Mercer smoothing — dit is een methode voor het gladstrijken van waarschijnlijkheden in taalmodellen, gebruikt om het probleem van nulwaarschijnlijkheid bij zeldzame of niet-voorkomende uitdrukkingen op te lossen. Het is gebaseerd op lineaire interpolatie van schattingen van waarschijnlijkheden uit meer specifieke en meer algemene modellen.

Het idee is dat de waarschijnlijkheid van een woord in een context wordt berekend als een gewogen som van de waarschijnlijkheid volgens een specifiek model (bijvoorbeeld bigrammen) en de waarschijnlijkheid volgens een meer algemeen model (bijvoorbeeld unigrammen). Het gewicht (lambda) bepaalt hoe sterk we elk model vertrouwen.

Formule:

P_{JM}(w_i|w_{i-1}) = \lambda P_{ML}(w_i|w_{i-1}) + (1 - \lambda) P_{ML}(w_i)

waar:

• (P_{ML}) de maximum likelihood schatting (MLE) van de waarschijnlijkheid is,
• (\lambda) de smoothing-parameter (0 ≤ (\lambda) ≤ 1) is.

Dit helpt om nulwaarschijnlijkheden te voorkomen en de kwaliteit van het taalmodel te verbeteren, vooral bij werken met beperkte gegevens.