Wie funktioniert der TextRank-Algorithmus zur Extraktion von Schlüsselwörtern?

Der TextRank-Algorithmus ist ein Graphenalgorithmus, der auf der Idee von PageRank basiert und verwendet wird, um Schlüsselwörter und -phrasen aus Texten zu extrahieren.

Funktionsprinzip:

1. Der Text wird in Tokens (Wörter) zerlegt, wobei in der Regel Stoppwörter entfernt werden.
2. Es wird ein Graph erstellt, bei dem die Knoten Wörter sind und die Kanten Verbindungen zwischen Wörtern darstellen, z.B. wenn Wörter in einem festen Fenster nebeneinander erscheinen.
3. Jedem Knoten wird ein Anfangsgewicht zugewiesen.
4. Die Gewichte der Knoten werden iterativ nach einer Formel neu berechnet, die der von PageRank ähnelt, wobei die Gewichte der Nachbarknoten berücksichtigt werden.
5. Nach Konvergenz des Algorithmus werden die Wörter mit dem höchsten Gewicht als Schlüsselwörter betrachtet.