Расскажите про TF-IDF: как он работает, как выглядит итоговая матрица?

TF-IDF (Term Frequency-Inverse Document Frequency) — это статистическая мера, которая отражает важность слова в документе относительно всего корпуса документов.

Как работает:

• TF (Term Frequency) — частота термина в конкретном документе, обычно нормализованная (например, количество вхождений слова, делённое на общее количество слов в документе).
• IDF (Inverse Document Frequency) — обратная частота документа, показывает, насколько слово редкое в корпусе. Рассчитывается как логарифм отношения общего числа документов к числу документов, содержащих термин.

Итоговое значение TF-IDF для термина в документе — это произведение TF на IDF. Таким образом, часто встречающиеся в документе, но редкие в корпусе слова получают высокий вес.

Итоговая матрица TF-IDF:

• Строки — документы.
• Столбцы — уникальные термины из всего корпуса.
• Значения — TF-IDF веса для каждого термина в каждом документе.

Эта матрица обычно разреженная, так как в каждом документе встречается лишь часть всех терминов. Она используется для задач информационного поиска, классификации текстов и других NLP-задач.