Jelinek-Mercer silliqlash nima?

Jelinek-Mercer silliqlash — bu, til modellarda ehtimolliklarni silliqlash usuli bo‘lib, kam yoki ko‘rinmagan iboralar uchun nol ehtimollik muammosini hal qilish uchun ishlatiladi. U, aniqroq va umumiyroq modellardan ehtimollik baholashlarning chiziqli interpolatsiyasiga asoslangan.

G‘oyasi shundaki, kontekstdagi so‘z ehtimolligi, ma’lum bir model (masalan, bigramlar) va yanada umumiy model (masalan, unigramlar) bo‘yicha ehtimolliklarning vaznli yig‘indisi sifatida hisoblanadi. Vazn (lambda) har bir modelga qanchalik ishonishni belgilaydi.

Formulasi:

P_{JM}(w_i|w_{i-1}) = \lambda P_{ML}(w_i|w_{i-1}) + (1 - \lambda) P_{ML}(w_i)

bu yerda:

• (P_{ML}) ehtimolliklarning maksimal ehtimollik bahosi (MLE),
• (\lambda) esa silliqlash parametri (0 ≤ (\lambda) ≤ 1).

Bu, nol ehtimolliklarni oldini olishga va til modelining sifatini oshirishga yordam beradi, ayniqsa cheklangan ma’lumotlar bilan ishlaganda.