Как работает алгоритм TextRank для извлечения ключевых слов?

Алгоритм TextRank — это графовый алгоритм, основанный на идее PageRank, применяемый для извлечения ключевых слов и фраз из текста.

Принцип работы:

1. Текст разбивается на токены (слова), обычно с удалением стоп-слов.
2. Создаётся граф, где узлы — это слова, а ребра — связи между словами, например, если слова встречаются рядом в окне фиксированного размера.
3. Каждому узлу присваивается начальный вес.
4. Итеративно пересчитываются веса узлов по формуле, похожей на PageRank, учитывая веса соседних узлов.
5. После сходимости алгоритма слова с наибольшим весом считаются ключевыми.

Пример: если в тексте часто встречаются слова "машинное обучение" и они связаны с другими важными словами, они получат высокий рейтинг и будут выделены как ключевые.