Ce sunt modelele de divergență față de aleatoriu?

Modelele de Divergență față de modelele de aleatoriu reprezintă o clasă de modele în căutarea informațiilor care evaluează relevanța documentelor pe baza abaterii distribuției termenilor în document față de o distribuție aleatorie. Ideea este că termenii semnificativi apar mai frecvent în document decât s-a așteptat în cazul unei distribuții aleatorii, iar această abatere (divergență) este utilizată pentru clasificare.

De exemplu, modelele Divergence From Randomness (DFR) folosesc măsuri statistice, cum ar fi probabilitatea ca un termen să apară într-un document sub o distribuție aleatorie, și o compară cu frecvența reală. Cu cât abaterea este mai mare, cu atât termenul este mai semnificativ pentru document.

Acest lucru permite o evaluare mai precisă a relevanței, luând în considerare statistica distribuției cuvintelor, și nu doar frecvența simplă sau TF-IDF.