Was sind Divergenzmodelle bei Zufälligkeit?

Abweichungsmodelle von Zufallsmodellen sind eine Klasse von Modellen in der Informationssuche, die die Relevanz von Dokumenten anhand der Abweichung der Verteilung der Terme im Dokument von einer zufälligen Verteilung bewerten. Die Idee ist, dass bedeutende Terme im Dokument häufiger vorkommen als bei einer zufälligen Verteilung erwartet, und diese Abweichung (Divergenz) wird für die Rangordnung verwendet.

Zum Beispiel verwenden die Modelle Divergence From Randomness (DFR) statistische Maße, wie die Wahrscheinlichkeit, dass ein Term in einem Dokument bei einer zufälligen Verteilung erscheint, und vergleichen diese mit der tatsächlichen Häufigkeit. Je größer die Abweichung, desto bedeutender ist der Term für das Dokument.

Dies ermöglicht eine genauere Bewertung der Relevanz, indem die Statistik der Wortverteilung berücksichtigt wird, und nicht nur die einfache Häufigkeit oder TF-IDF.