Kas yra atsitiktinumo nukrypimo modeliai?

Divergence from Randomness modeliai yra klasė modelių informacijos paieškoje, kurie vertina dokumentų aktualumą remdamiesi žodžių pasiskirstymo nuokrypiu nuo atsitiktinio pasiskirstymo. Idėja ta, kad svarbūs terminai dokumente pasirodo dažniau nei tikėtasi atsitiktinio pasiskirstymo atveju, ir šis nuokrypis (divergencija) naudojamas reitingavimui.

Pavyzdžiui, Divergence From Randomness (DFR) modeliai naudoja statistinius matavimus, tokius kaip tikimybė, kad terminas pasirodys dokumente atsitiktinio pasiskirstymo sąlygomis, ir lygina tai su faktine dažnumu. Kuo didesnė nuokrypio reikšmė, tuo svarbesnis terminas dokumentui.

Tai leidžia tiksliau įvertinti aktualumą, atsižvelgiant į žodžių pasiskirstymo statistiką, o ne tik paprastą dažnumą ar TF-IDF.