Τι είναι τα μοντέλα απόκλισης από την τυχαιότητα;

Οι μοντέλα Divergence from Randomness είναι μια κατηγορία μοντέλων στην εύρεση πληροφοριών που αξιολογούν τη σχετικότητα των εγγράφων βάσει της απόκλισης της κατανομής των όρων στο έγγραφο από μια τυχαία κατανομή. Η ιδέα είναι ότι οι σημαντικοί όροι εμφανίζονται συχνότερα στο έγγραφο από ό,τι αναμενόταν σε μια τυχαία κατανομή, και αυτή η απόκλιση (διαφορά) χρησιμοποιείται για την κατάταξη.

Για παράδειγμα, τα μοντέλα Divergence From Randomness (DFR) χρησιμοποιούν στατιστικά μέτρα, όπως η πιθανότητα εμφάνισης ενός όρου σε ένα έγγραφο υπό μια τυχαία κατανομή, και τα συγκρίνουν με την πραγματική συχνότητα. Όσο μεγαλύτερη είναι η απόκλιση, τόσο πιο σημαντικός είναι ο όρος για το έγγραφο.

Αυτό επιτρέπει μια πιο ακριβή αξιολόγηση της σχετικότητας, λαμβάνοντας υπόψη τα στατιστικά της κατανομής των λέξεων, και όχι μόνο τη απλή συχνότητα ή TF-IDF.