O que significam os componentes TF e IDF?

TF e IDF são componentes-chave do método TF-IDF, usado para avaliar a importância das palavras nos documentos.

• TF (Frequência do Termo) — a frequência do termo em um documento específico. Mostra com que frequência a palavra aparece nesse texto.

• IDF (Frequência Inversa de Documento) — a frequência inversa do documento, mede o quão raro ou comum é uma palavra em toda a coleção de documentos.

A ideia é que as palavras que aparecem frequentemente em um documento específico (alto TF), mas são raras em outros documentos (alto IDF), têm maior importância para esse documento.

Fórmula:

[ \text{TF-IDF}(t, d) = \text{TF}(t, d) \times \log\left(\frac{N}{DF(t)}\right) ]

onde:

• (t) — termo,
• (d) — documento,
• (N) — número total de documentos,
• (DF(t)) — número de documentos que contêm o termo (t).

TF-IDF é amplamente utilizado em busca de informação, análise de texto e aprendizado de máquina para destacar palavras-chave.