Šta su modeli divergencije od slučajnosti?

Modeli divergencije od slučajnosti su klasa modela u informativnom pretraživanju koji procenjuju relevantnost dokumenata na osnovu odstupanja distribucije termina u dokumentu od slučajne distribucije. Ideja je da se značajni termini pojavljuju u dokumentu češće nego što se očekivalo u slučaju slučajne distribucije, a ovo odstupanje (divergencija) se koristi za rangiranje.

Na primer, modeli Divergence From Randomness (DFR) koriste statističke mere, kao što je verovatnoća pojavljivanja termina u dokumentu pod slučajnom distribucijom, i porede je sa stvarnom frekvencijom. Što je veće odstupanje, to je termin važniji za dokument.

Ovo omogućava preciznije ocenjivanje relevantnosti, uzimajući u obzir statistiku distribucije reči, a ne samo jednostavnu frekvenciju ili TF-IDF.