Jak działa algorytm TextRank do wyodrębniania słów kluczowych?

Algorytm TextRank to algorytm grafowy oparty na idei PageRank, stosowany do wyodrębniania słów i fraz kluczowych z tekstu.

Zasada działania:

1. Tekst jest dzielony na tokeny (słowa), zwykle z usunięciem słów stop.
2. Tworzony jest graf, gdzie węzły to słowa, a krawędzie to połączenia między słowami, na przykład jeśli słowa występują obok siebie w oknie o ustalonym rozmiarze.
3. Każdemu węzłowi przypisuje się początkową wagę.
4. Wagi węzłów są iteracyjnie przeliczane według formuły podobnej do PageRank, uwzględniając wagi sąsiednich węzłów.
5. Po zbieżności algorytmu słowa o największej wadze są uważane za kluczowe.

Przykład: jeśli w tekście często występują słowa "uczenie maszynowe" i są powiązane z innymi ważnymi słowami, otrzymają wysoką ocenę i będą wyróżnione jako słowa kluczowe.