Qu'est-ce que les modèles de divergence de l'aléa?

Les modèles de divergence par rapport aux modèles de hasard sont une classe de modèles en recherche d'information qui évaluent la pertinence des documents en fonction de l'écart de la distribution des termes dans le document par rapport à une distribution aléatoire. L'idée est que les termes significatifs apparaissent dans le document plus fréquemment que ce qui était attendu dans une distribution aléatoire, et cette divergence (écart) est utilisée pour le classement.

Par exemple, les modèles Divergence From Randomness (DFR) utilisent des mesures statistiques, telles que la probabilité d'apparition d'un terme dans un document sous une distribution aléatoire, et la comparent à la fréquence réelle. Plus l'écart est grand, plus le terme est significatif pour le document.

Cela permet d'évaluer la pertinence de manière plus précise, en tenant compte de la statistique de distribution des mots, et pas seulement de la fréquence simple ou TF-IDF.