Wat is Dirichlet-smoothing in het IR-taalmodel?

Dirichlet-wegingsmethode is een probabilistische smoothing-methode in taalmodellen voor informatiezoek (IR), gebaseerd op een Bayesiaanse aanpak met gebruikmaking van een Dirichlet-priorverdeling.

Bij IR-taken schat het taalmodel de waarschijnlijkheid dat een term in een document voorkomt. Het probleem ontstaat wanneer de term niet in het document aanwezig is, en de waarschijnlijkheid nul wordt, wat de rangschikking negatief beïnvloedt.

Dirichlet-wegingsmethode past de schattingen van waarschijnlijkheden aan door rekening te houden met de frequenties van de term in de collectie documenten (corpus) en een smoothing-parameter (meestal aangeduid als μ). De formule:

[ P_{gesmooth}(w|d) = \frac{c(w,d) + \mu P(w|C)}{|d| + \mu} ]

waar:

• ( c(w,d) ) — aantal voorkomens van het woord ( w ) in het document ( d ),
• ( |d| ) — lengte van het document,
• ( P(w|C) ) — waarschijnlijkheid van het woord in de collectie,
• ( \mu ) — smoothing-parameter die de balans tussen document en collectie regelt.

Op deze manier voorkomt Dirichlet-wegingsmethode nulwaarschijnlijkheden en verbetert het de kwaliteit van de rangschikking van documenten in IR-systemen.