Что такое TF-IDF?

TF-IDF (Term Frequency-Inverse Document Frequency) — это статистическая мера, используемая для оценки важности слова в документе относительно всего корпуса документов.

• TF (Term Frequency) — частота термина в конкретном документе, обычно считается как количество вхождений слова, нормированное на длину документа.
• IDF (Inverse Document Frequency) — обратная частота документа, отражает насколько слово редкое во всём корпусе. Вычисляется как логарифм отношения общего числа документов к числу документов, содержащих слово.

Итоговое значение TF-IDF для слова в документе — произведение TF на IDF. Высокое значение означает, что слово часто встречается в данном документе, но редко в других, что делает его хорошим признаком для выделения тематики документа.

Пример на Python с использованием sklearn:

from sklearn.feature_extraction.text import TfidfVectorizer

docs = ["машинное обучение и искусственный интеллект",
        "искусственный интеллект и глубокое обучение"]

vectorizer = TfidfVectorizer()
tfidf_matrix = vectorizer.fit_transform(docs)

print(vectorizer.get_feature_names_out())
print(tfidf_matrix.toarray())