Чем TF-IDF отличается от частотного представления и зачем он нужен?

TF-IDF (Term Frequency-Inverse Document Frequency) — это метод взвешивания слов в тексте, который учитывает не только частоту слова в документе (TF), но и его распространённость во всех документах (IDF).

Частотное представление просто считает, сколько раз слово встречается в документе, что может переоценивать часто встречающиеся, но малоинформативные слова (например, "и", "в", "на").

TF-IDF снижает вес часто встречающихся слов во всех документах и повышает значимость редких, что помогает лучше выделять ключевые термины для задач поиска и классификации.

Пример: слово "машина" часто встречается в технических текстах, но если оно встречается редко в корпусе, его TF-IDF будет высоким, показывая, что это важный термин для данного документа.