TF-IDF эмне?

TF-IDF (Term Frequency-Inverse Document Frequency) — бул статистикалык өлчөм, ал документтеги сөздүн маанилүүлүгүн баалоодо колдонулат жана бүт документтер корпусуна салыштырып карайт.

• TF (Терминдин жыштыгы) — белгилүү бир документтеги терминдин жыштыгы, адатта сөздүн кездешүү саны катары эсептелет жана документтин узундугуна нормалдуу кылынат.
• IDF (Обратная документ жыштыгы) — документтин тескери жыштыгы, сөздүн бүт корпус боюнча канчалык сирек экенин көрсөтөт. Ал жалпы документтердин санынан жана сөздү камтыган документтердин санынан логарифм аркылуу эсептелет.

TF-IDFтин акыркы мааниси — сөздүн документтеги TF жана IDFнин көбөйтмөсү. Жогорку мааниси, сөздүн ошол документте көп кездешкенин, бирок башка документтерде сейрек экенин көрсөтөт жана бул документтин темасын белгилөөдө жакшы көрсөткүч болот.

Pythonда sklearn колдонуп мисал:

from sklearn.feature_extraction.text import TfidfVectorizer

docs = ["машиндик үйрөнүү жана жасалма интеллект",
        "жасалма интеллект жана терең үйрөнүү"]

vectorizer = TfidfVectorizer()
tfidf_matrix = vectorizer.fit_transform(docs)

print(vectorizer.get_feature_names_out())
print(tfidf_matrix.toarray())