Cosa sono i modelli di divergenza dalla casualità?

I modelli di Divergence from Randomness sono una classe di modelli nella ricerca di informazioni che valutano la rilevanza dei documenti in base alla deviazione della distribuzione dei termini nel documento rispetto a una distribuzione casuale. L'idea è che i termini significativi si presentano nel documento più frequentemente di quanto ci si aspetterebbe in una distribuzione casuale, e questa deviazione (divergenza) viene utilizzata per il ranking.

Ad esempio, i modelli Divergence From Randomness (DFR) utilizzano misure statistiche, come la probabilità che un termine appaia in un documento sotto una distribuzione casuale, e la confrontano con la frequenza reale. Più grande è la deviazione, più importante è il termine per il documento.

Questo permette di valutare la rilevanza in modo più preciso, considerando la statistica della distribuzione delle parole, e non solo la frequenza semplice o TF-IDF.