Šta je Jelinek-Mercer glajenje?

Jelinek-Mercerovo ugašavanje — ovo je metoda ugašavanja verovatnoća u jezičkim modelima, koja se koristi za rešavanje problema nulte verovatnoće kod retkih ili neviđenih izraza. Osnovano je na linearnom interpolovanju procena verovatnoće iz specifičnijih i opštijih modela.

Ideja je da se verovatnoća reči u kontekstu računa kao ponderisana suma verovatnoće prema specifičnom modelu (npr. bigrami) i verovatnoće prema opštem modelu (npr. unigrami). Težina (lambda) određuje koliko verujemo svakom modelu.

Formula:

P_{JM}(w_i|w_{i-1}) = \lambda P_{ML}(w_i|w_{i-1}) + (1 - \lambda) P_{ML}(w_i)

gde:

• (P_{ML}) je procena maksimalne verovatnoće (MLE),
• (\lambda) je parametar ugašavanja (0 ≤ (\lambda) ≤ 1).

Ovo pomaže da se izbegnu nulte verovatnoće i poboljša kvalitet jezičkog modela, posebno pri radu sa ograničenim podacima.