Wat zijn divergentiemodellen van willekeurigheid?

Divergence from Randomness-modellen vormen een klasse modellen in informatieopslag die de relevantie van documenten beoordelen op basis van de afwijking van de termverdeling in het document ten opzichte van een willekeurige verdeling. Het idee is dat belangrijke termen vaker voorkomen in het document dan verwacht bij een willekeurige verdeling, en deze afwijking (divergentie) wordt gebruikt voor rangschikking.

Bijvoorbeeld, de Divergence From Randomness (DFR) modellen gebruiken statistische maten, zoals de waarschijnlijkheid dat een term voorkomt in een document onder een willekeurige verdeling, en vergelijken dit met de werkelijke frequentie. Hoe groter de afwijking, hoe belangrijker de term voor het document.

Dit maakt het mogelijk om de relevantie nauwkeuriger te beoordelen, rekening houdend met de statistiek van de woordverdeling, en niet alleen met eenvoudige frequentie of TF-IDF.