Was bedeuten die Komponenten TF und IDF?

TF und IDF sind Schlüsselelemente der TF-IDF-Methode, die verwendet wird, um die Wichtigkeit von Wörtern in Dokumenten zu bewerten.

• TF (Termfrequenz) — die Häufigkeit des Begriffs in einem bestimmten Dokument. Zeigt, wie oft ein Wort in diesem Text vorkommt.

• IDF (Inverse Dokumentfrequenz) — die inverse Häufigkeit des Dokuments, misst, wie selten oder häufig ein Wort in der gesamten Dokumentensammlung ist.

Die Idee ist, dass Wörter, die in einem bestimmten Dokument häufig vorkommen (hoher TF), aber in anderen Dokumenten selten sind (hoher IDF), für dieses Dokument wichtiger sind.

Formel:

[ \text{TF-IDF}(t, d) = \text{TF}(t, d) \times \log\left(\frac{N}{DF(t)}\right) ]

wobei:

• (t) — Begriff,
• (d) — Dokument,
• (N) — Gesamtzahl der Dokumente,
• (DF(t)) — Anzahl der Dokumente, die den Begriff (t) enthalten.

TF-IDF wird häufig in der Informationssuche, Textanalyse und im maschinellen Lernen verwendet, um Schlüsselwörter hervorzuheben.