Τι σημαίνουν τα συστατικά TF και IDF;

TF και IDF είναι βασικά στοιχεία της μεθόδου TF-IDF, που χρησιμοποιείται για την αξιολόγηση της σημασίας των λέξεων σε έγγραφα.

• TF (Συχνότητα Όρου) — η συχνότητα του όρου σε ένα συγκεκριμένο έγγραφο. Δείχνει πόσο συχνά εμφανίζεται μια λέξη σε αυτό το κείμενο.

• IDF (Αντίστροφη Συχνότητα Εγγράφου) — η αντίστροφη συχνότητα του εγγράφου, μετρά πόσο σπάνια ή συνηθισμένη είναι μια λέξη σε ολόκληρη τη συλλογή εγγράφων.

Η ιδέα είναι ότι οι λέξεις που εμφανίζονται συχνά σε ένα συγκεκριμένο έγγραφο (υψηλό TF), αλλά είναι σπάνιες σε άλλα έγγραφα (υψηλό IDF), έχουν μεγαλύτερη σημασία για αυτό το έγγραφο.

Τύπος:

[ \text{TF-IDF}(t, d) = \text{TF}(t, d) \times \log\left(\frac{N}{DF(t)}\right) ]

όπου:

• (t) — όρος,
• (d) — έγγραφο,
• (N) — συνολικός αριθμός εγγράφων,
• (DF(t)) — αριθμός εγγράφων που περιέχουν τον όρο (t).

Το TF-IDF χρησιμοποιείται ευρέως στην εύρεση πληροφοριών, ανάλυση κειμένου και μηχανική μάθηση για την ανάδειξη λέξεων-κλειδιών.