O que são modelos de divergência de aleatoriedade?

Modelos de Divergência em Relação com Modelos de Aleatoriedade são uma classe de modelos na pesquisa de informação que avaliam a relevância de documentos com base na divergência da distribuição de termos no documento em relação a uma distribuição aleatória. A ideia é que termos significativos aparecem no documento com mais frequência do que o esperado numa distribuição aleatória, e essa divergência (divergência) é usada para classificação.

Por exemplo, os modelos Divergence From Randomness (DFR) usam medidas estatísticas, como a probabilidade de um termo aparecer num documento numa distribuição aleatória, e comparam-na com a frequência real. Quanto maior a divergência, mais importante é o termo para o documento.

Isto permite avaliar a relevância de forma mais precisa, considerando a estatística da distribuição de palavras, e não apenas a frequência simples ou TF-IDF.