Czym są modele odchylenia od losowości?

Modele Divergence From Randomness (DFR) to klasa modeli w wyszukiwaniu informacji, które oceniają trafność dokumentów na podstawie odchylenia rozkładu terminów w dokumencie od rozkładu losowego. Idea polega na tym, że istotne terminy występują w dokumencie częściej niż oczekiwano przy rozkładzie losowym, a to odchylenie (divergencja) jest wykorzystywane do rankingu.

Na przykład, modele Divergence From Randomness (DFR) używają miar statystycznych, takich jak prawdopodobieństwo pojawienia się terminu w dokumencie przy rozkładzie losowym, i porównują je z rzeczywistą częstością. Im większe odchylenie, tym wyższa ważność terminu dla dokumentu.

Pozwala to na dokładniejszą ocenę trafności, uwzględniając statystykę rozkładu słów, a nie tylko prostą częstość lub TF-IDF.