IR dil modelində Dirichlet yumşaltması nədir?
sobes.tech Süni İntellekt
AI-dan cavab
Dirichlet yumshatması, məlumat axtarışında (IR) dil modellərində ehtimalların yumşaldılması üçün istifadə olunan, Dirichlet prior paylanmasından istifadə edən bayes yanaşmasına əsaslanan bir metodudur.
IR tapşırıqlarında, dil modeli bir terminın sənəddə çıxma ehtimalını qiymətləndirir. Problemi, termin sənəddə mövcud olmadıqda yaranır və ehtimal sıfıra enir, bu da sıralamaya mənfi təsir göstərir.
Dirichlet yumşatması, ehtimalların qiymətləndirilməsini sənədlər kolleksiyasında (korpusda) terminlərin tezliklərini və adətən μ ilə göstərilən yumşaltma parametrini nəzərə alaraq tənzimləyir. Formula:
[ P_{yumşaldılmış}(w|d) = \frac{c(w,d) + \mu P(w|C)}{|d| + \mu} ]
burada:
- ( c(w,d) ) — ( w ) sözünün ( d ) sənəddə rast gəlmə sayı,
- ( |d| ) — sənədin uzunluğu,
- ( P(w|C) ) — sözün kolleksiyadakı ehtimalı,
- ( \mu ) — yumşaltma parametri, sənəd və kolleksiya arasında tarazlığı idarə edir.
Bu şəkildə, Dirichlet yumşatması sıfır ehtimalləri qarşısını alır və IR sistemlərində sənədlərin sıralama keyfiyyətini yaxşılaşdırır.