Wat betekenen de TF- en IDF-componenten?

TF en IDF zijn kerncomponenten van de TF-IDF-methode, gebruikt om het belang van woorden in documenten te beoordelen.

• TF (Term Frequentie) — de frequentie van de term in een specifiek document. Laat zien hoe vaak een woord in deze tekst voorkomt.

• IDF (Inverse Document Frequentie) — de inverse frequentie van het document, meet hoe zeldzaam of algemeen een woord is in de hele collectie documenten.

Het idee is dat woorden die vaak voorkomen in een specifiek document (hoge TF), maar zeldzaam zijn in andere documenten (hoge IDF), belangrijker zijn voor dat document.

Formule:

[ \text{TF-IDF}(t, d) = \text{TF}(t, d) \times \log\left(\frac{N}{DF(t)}\right) ]

waar:

• (t) — term,
• (d) — document,
• (N) — totaal aantal documenten,
• (DF(t)) — aantal documenten dat de term (t) bevat.

TF-IDF wordt veel gebruikt in informatieopslag, tekstanalyse en machine learning om kernwoorden te benadrukken.