Hogyan működik a TextRank algoritmus a kulcsszavak kivonására?

A TextRank algoritmus egy gráfalapú algoritmus, amely a PageRank ötletén alapul, és szövegből kulcsszavak és kifejezések kinyerésére használják.

Működési elv:

1. A szöveget tokenekre (szavakra) bontják, általában a stop szavak eltávolításával.
2. Egy gráfot hoznak létre, ahol a csomópontok szavak, és az élek a szavak közötti kapcsolatokat jelölik, például ha a szavak egy rögzített méretű ablakban egymás mellett fordulnak elő.
3. Minden csomópontnak kezdeti súlyt adnak.
4. A csomópontok súlyait iteratív módon újraszámítják, egy PageRank-szerű képletet használva, figyelembe véve a szomszédos csomópontok súlyait.
5. Az algoritmus konvergenciája után a legnagyobb súlyú szavakat kulcsszavaknak tekintik.

Példa: ha a szövegben gyakran előfordulnak a "gépi tanulás" szavak, és más fontos szavakkal kapcsolódnak, magas értéket kapnak, és kiemelve kulcsszavakként jelennek meg.