Qu'est-ce que le lissage de Dirichlet dans le modèle de langage IR?

Lissage de Dirichlet est une méthode de lissage des probabilités dans les modèles linguistiques pour la recherche d'information (IR), basée sur une approche bayésienne utilisant une distribution a priori de Dirichlet.

Dans les tâches IR, le modèle linguistique estime la probabilité qu'un terme apparaisse dans un document. Le problème survient lorsque le terme n'est pas présent dans le document, et la probabilité devient nulle, ce qui affecte négativement le classement.

Le lissage de Dirichlet ajuste les estimations de probabilité en tenant compte des fréquences du terme dans la collection de documents (corpus) et d'un paramètre de lissage (habituellement noté μ). La formule :

[ P_{lissé}(w|d) = \frac{c(w,d) + \mu P(w|C)}{|d| + \mu} ]

où :

• ( c(w,d) ) — nombre d'occurrences du mot ( w ) dans le document ( d ),
• ( |d| ) — longueur du document,
• ( P(w|C) ) — probabilité du mot dans la collection,
• ( \mu ) — paramètre de lissage contrôlant l'équilibre entre le document et la collection.

Ainsi, le lissage de Dirichlet permet d'éviter les probabilités nulles et d'améliorer la qualité du classement des documents dans les systèmes IR.