O que é TF-IDF?

TF-IDF (Term Frequency-Inverse Document Frequency) é uma medida estatística usada para avaliar a importância de uma palavra num documento em relação a todo o corpus de documentos.

• TF (Frequência do Termo) — a frequência do termo num documento específico, geralmente considerada como o número de vezes que a palavra aparece, normalizado pelo comprimento do documento.
• IDF (Frequência Inversa de Documento) — a frequência inversa do documento, reflete o quão rara é a palavra em todo o corpus. É calculada como o logaritmo da relação entre o número total de documentos e o número de documentos que contêm a palavra.

O valor final de TF-IDF para uma palavra num documento é o produto de TF por IDF. Um valor alto indica que a palavra aparece frequentemente nesse documento, mas raramente em outros, tornando-se um bom indicador para destacar a temática do documento.

Exemplo em Python usando sklearn:

from sklearn.feature_extraction.text import TfidfVectorizer

docs = ["aprendizagem automática e inteligência artificial",
        "inteligência artificial e aprendizagem profunda"]

vectorizer = TfidfVectorizer()
tfidf_matrix = vectorizer.fit_transform(docs)

print(vectorizer.get_feature_names_out())
print(tfidf_matrix.toarray())