IR til tilida Dirichlet yumshatish nima?

Dirichlet yumshatilishi — bu til modellari yordamida axborot qidiruvida (IR) ehtimolliklarni yumshatish usuli bo‘lib, u Bayes yondashuvi asosida Dirichlet prior taqsimotidan foydalanadi.

IR vazifalarida, til modeli hujjatda terminning yuzaga kelish ehtimolligini baholaydi. Muammo, agar termin hujjatda mavjud bo‘lmasa, ehtimollik nolga teng bo‘lib, bu reytingga salbiy ta’sir qiladi.

Dirichlet yumshatilishi ehtimollik baholashlarini hujjatlar to‘plamidagi (korpus) terminlarning chastotalarini va odatda μ bilan belgilangan yumshatish parametrini hisobga olgan holda to‘g‘rilaydi. Formulasi:

[ P_{yumshatilgan}(w|d) = \frac{c(w,d) + \mu P(w|C)}{|d| + \mu} ]

bu yerda:

• ( c(w,d) ) — ( w ) so‘zining ( d ) hujjatda uchrash soni,
• ( |d| ) — hujjat uzunligi,
• ( P(w|C) ) — so‘zning to‘plamdagi ehtimolligi,
• ( \mu ) — yumshatish parametri, u hujjat va to‘plam o‘rtasidagi muvozanatni nazorat qiladi.

Shu tarzda, Dirichlet yumshatilishi nol ehtimolliklarni oldini oladi va IR tizimlarida hujjatlarning reyting sifatini yaxshilaydi.