¿Qué son los modelos de divergencia de la aleatoriedad?

Los modelos de divergencia respecto a modelos de aleatoriedad son una clase de modelos en la búsqueda de información que evalúan la relevancia de los documentos en función de la desviación de la distribución de términos en el documento respecto a una distribución aleatoria. La idea es que los términos significativos aparecen en el documento con mayor frecuencia de la que se esperaría en una distribución aleatoria, y esta desviación (divergencia) se utiliza para la clasificación.

Por ejemplo, los modelos Divergence From Randomness (DFR) utilizan medidas estadísticas, como la probabilidad de aparición de un término en un documento bajo una distribución aleatoria, y la comparan con la frecuencia real. Cuanto mayor sea la desviación, mayor será la importancia del término para el documento.

Esto permite evaluar la relevancia de manera más precisa, considerando la estadística de distribución de palabras, y no solo la frecuencia simple o TF-IDF.