Mi az a TF-IDF?

TF-IDF (Term Frequency-Inverse Document Frequency) egy statisztikai mérőszám, amelyet a szó fontosságának értékelésére használnak egy dokumentumban az egész dokumentumkorpuszhoz viszonyítva.

• TF (Term Frequency) — a kifejezés gyakorisága egy adott dokumentumban, általában a szó előfordulásainak száma, normalizálva a dokumentum hosszára.
• IDF (Inverse Document Frequency) — az inverz dokumentum gyakoriság, amely megmutatja, hogy mennyire ritka a szó az egész korpuszban. Számítása a dokumentumok összszámának és azoknak a dokumentumoknak a számának hányadosának logaritmusa.

A szó TF-IDF értéke a dokumentumban a TF és az IDF szorzata. Magas érték azt jelzi, hogy a szó gyakran fordul elő ebben a dokumentumban, de ritkán másokban, így jó mutatója a dokumentum témájának kiemelésére.

Példa Pythonban sklearn használatával:

from sklearn.feature_extraction.text import TfidfVectorizer

docs = ["gépi tanulás és mesterséges intelligencia",
        "mesterséges intelligencia és mélytanulás"]

vectorizer = TfidfVectorizer()
tfidf_matrix = vectorizer.fit_transform(docs)

print(vectorizer.get_feature_names_out())
print(tfidf_matrix.toarray())