Cosa significano i componenti TF e IDF?

TF e IDF sono componenti chiave del metodo TF-IDF, utilizzato per valutare l'importanza delle parole nei documenti.

• TF (Frequenza del Termine) — la frequenza del termine in un documento specifico. Mostra quanto spesso una parola appare in questo testo.

• IDF (Frequenza Inversa del Documento) — la frequenza inversa del documento, misura quanto una parola è rara o comune in tutta la collezione di documenti.

L'idea è che le parole che compaiono frequentemente in un documento specifico (alto TF), ma sono rare in altri documenti (alto IDF), hanno maggiore importanza per quel documento.

Formula:

[ \text{TF-IDF}(t, d) = \text{TF}(t, d) \times \log\left(\frac{N}{DF(t)}\right) ]

dove:

• (t) — termine,
• (d) — documento,
• (N) — numero totale di documenti,
• (DF(t)) — numero di documenti che contengono il termine (t).

TF-IDF è ampiamente usato nella ricerca di informazioni, analisi del testo e apprendimento automatico per evidenziare le parole chiave.