Hoe werkt het TextRank-algoritme voor het extraheren van kernwoorden?

De TextRank-algoritme is een grafalgoritme gebaseerd op het idee van PageRank, gebruikt om kernwoorden en zinnen uit tekst te extraheren.

Werking:

1. De tekst wordt opgesplitst in tokens (woorden), meestal met het verwijderen van stopwoorden.
2. Er wordt een graf gemaakt waarbij de knooppunten woorden zijn en de randen verbindingen tussen woorden, bijvoorbeeld als woorden naast elkaar voorkomen in een vaste venstergrootte.
3. Aan elk knooppunt wordt een begingewicht toegekend.
4. De gewichten van de knooppunten worden iteratief herberekend volgens een formule vergelijkbaar met PageRank, rekening houdend met de gewichten van naburige knooppunten.
5. Na convergentie worden de woorden met het hoogste gewicht als kernwoorden beschouwd.

Voorbeeld: als in de tekst vaak de woorden "machine learning" voorkomen en ze verbonden zijn met andere belangrijke woorden, krijgen ze een hoge ranking en worden ze als kernwoorden gemarkeerd.