Kas ir Dirichlet gludums IR valodas modelī?

Dirichlet izlīdzināšana ir varbūtības izlīdzināšanas metode valodu modeļos informācijas meklēšanai (IR), kas balstīta uz Bayes pieeju ar Dirichlet iepriekšējo sadalījumu.

IR uzdevumos valodu modelis novērtē, cik ticams, ka termins parādīsies dokumentā. Problēma rodas, ja termins nav dokumentā, un varbūtība kļūst nulle, kas negatīvi ietekmē rangēšanu.

Dirichlet izlīdzināšana koriģē varbūtību novērtējumus, ņemot vērā termina biežumu dokumentu kolekcijā (korpusā) un izlīdzināšanas parametru (parasti apzīmē ar μ). Formula:

[ P_{izlīdzināts}(w|d) = \frac{c(w,d) + \mu P(w|C)}{|d| + \mu} ]

kur:

• ( c(w,d) ) — vārda ( w ) skaits dokumentā ( d ),
• ( |d| ) — dokumenta garums,
• ( P(w|C) ) — vārda varbūtība kolekcijā,
• ( \mu ) — izlīdzināšanas parametru, kas kontrolē līdzsvaru starp dokumentu un kolekciju.

Tādējādi, Dirichlet izlīdzināšana ļauj izvairīties no nulles varbūtībām un uzlabo dokumentu rangēšanas kvalitāti IR sistēmās.