Что означают компоненты TF и IDF?

TF и IDF — ключевые компоненты метода TF-IDF, используемого для оценки важности слов в документах.

• TF (Term Frequency) — частота термина в конкретном документе. Показывает, как часто слово встречается в данном тексте.

• IDF (Inverse Document Frequency) — обратная частота документа, измеряет, насколько слово редкое или распространённое во всей коллекции документов.

Идея в том, что слова, часто встречающиеся в конкретном документе (высокий TF), но редко встречающиеся в других документах (высокий IDF), имеют большую значимость для этого документа.

Формула:

[ \text{TF-IDF}(t, d) = \text{TF}(t, d) \times \log\left(\frac{N}{DF(t)}\right) ]

где:

• (t) — термин,
• (d) — документ,
• (N) — общее число документов,
• (DF(t)) — количество документов, содержащих термин (t).

TF-IDF широко используется в информационном поиске, анализе текста и машинном обучении для выделения ключевых слов.