Kā darbojas TextRank algoritms galveno vārdu izvilkšanai?

TextRank algoritms ir grafu balstīts algoritms, kas balstīts uz PageRank ideju un tiek izmantots, lai no teksta izvilktu galvenos vārdus un frāzes.

Darba princips:

1. Teksts tiek sadalīts tokenos (vārdi), parasti izņemot stop vārdus.
2. Tiek izveidots grafiks, kurā mezgli ir vārdi, bet malas ir saistības starp vārdiem, piemēram, ja vārdi parādās blakus noteiktā logā.
3. Katram mezglam tiek piešķirts sākotnējais svars.
4. Mezglu svari tiek iteratīvi pārskatīti, izmantojot formulu, kas līdzīga PageRank, ņemot vērā kaimiņu mezglu svarus.
5. Kad algoritms ir konverģējis, visaugstākā svara vārdi tiek uzskatīti par galvenajiem vārdiem.

Piemērs: ja tekstā bieži sastopami vārdi "mašīnmācība" un tie ir saistīti ar citiem svarīgiem vārdiem, tie iegūs augstu novērtējumu un tiks izcelti kā galvenie vārdi.