Расскажите формулу TF-IDF и интуицию каждой компоненты.

TF-IDF (Term Frequency-Inverse Document Frequency) — это статистическая мера, которая отражает важность слова для документа в коллекции документов.

Формула:

[ \text{TF-IDF}(t, d, D) = \text{TF}(t, d) \times \text{IDF}(t, D) ]

Где:

• (t) — термин (слово)
• (d) — конкретный документ
• (D) — множество всех документов

Компоненты:

1. TF (Term Frequency) — частота термина в документе:

[ \text{TF}(t, d) = \frac{\text{число вхождений } t \text{ в } d}{\text{общее число слов в } d} ]

Интуиция: чем чаще слово встречается в документе, тем важнее оно для этого документа.

2. IDF (Inverse Document Frequency) — обратная частота документа, в котором встречается термин:

[ \text{IDF}(t, D) = \log \frac{|D|}{1 + |{d \in D : t \in d}|} ]

Интуиция: если термин встречается во многих документах, он менее информативен для различения документов, поэтому его вес уменьшается.

Итог: TF-IDF повышает вес слов, часто встречающихся в конкретном документе, но редко встречающихся в других, что помогает выделять ключевые слова для поиска и анализа текста.