Was ist Dirichlet-Glättung im IR-Sprachmodell?

Die Dirichlet-Glättung ist eine Methode zur Glättung von Wahrscheinlichkeiten in Sprachmodellen für die Informationssuche (IR), basierend auf einem bayesschen Ansatz unter Verwendung einer Dirichlet-Vorverteilung.

Bei IR-Aufgaben schätzt das Sprachmodell die Wahrscheinlichkeit, dass ein Begriff in einem Dokument erscheint. Das Problem tritt auf, wenn der Begriff im Dokument nicht vorhanden ist, wodurch die Wahrscheinlichkeit null wird, was die Rangfolge negativ beeinflusst.

Die Dirichlet-Glättung passt die Wahrscheinlichkeitsabschätzungen an, indem sie die Häufigkeiten des Begriffs im Dokumentenkorpus berücksichtigt und einen Glättungsparameter (normalerweise μ genannt). Die Formel:

[ P_{geglättet}(w|d) = \frac{c(w,d) + \mu P(w|C)}{|d| + \mu} ]

wobei:

• ( c(w,d) ) — Anzahl der Vorkommen des Wortes ( w ) im Dokument ( d ),
• ( |d| ) — Länge des Dokuments,
• ( P(w|C) ) — Wahrscheinlichkeit des Wortes im Korpus,
• ( \mu ) — Glättungsparameter, der das Gleichgewicht zwischen Dokument und Korpus steuert.

Auf diese Weise vermeidet die Dirichlet-Glättung Nullwahrscheinlichkeiten und verbessert die Qualität der Dokumentenrangfolge in IR-Systemen.