Czym jest wygładzanie Dirichleta w modelu językowym IR?

Wygładzanie Dirichleta to metoda wygładzania prawdopodobieństw w modelach językowych dla wyszukiwania informacji (IR), oparta na podejściu bayesowskim z użyciem rozkładu a priori Dirichleta.

W zadaniach IR model językowy szacuje prawdopodobieństwo wystąpienia terminu w dokumencie. Problem pojawia się, gdy termin nie występuje w dokumencie, a prawdopodobieństwo staje się zerowe, co negatywnie wpływa na ranking.

Wygładzanie Dirichleta koryguje oszacowania prawdopodobieństwa, uwzględniając częstości występowania terminu w kolekcji dokumentów (korpusie) oraz parametr wygładzania (zwykle oznaczany jako μ). Wzór:

[ P_{wygładzony}(w|d) = \frac{c(w,d) + \mu P(w|C)}{|d| + \mu} ]

gdzie:

• ( c(w,d) ) — liczba wystąpień słowa ( w ) w dokumencie ( d ),
• ( |d| ) — długość dokumentu,
• ( P(w|C) ) — prawdopodobieństwo słowa w kolekcji,
• ( \mu ) — parametr wygładzania kontrolujący równowagę między dokumentem a kolekcją.

W ten sposób, wygładzanie Dirichleta pozwala uniknąć zerowych prawdopodobieństw i poprawić jakość rankingowania dokumentów w systemach IR.