Алгоритми TextRank барои баровардани калимаҳои калидӣ чӣ гуна кор мекунад?

Алгоритми TextRank — графӣ алгоритм, ки асоси идеяи PageRank-ро дорад ва барои баровардани калидвожаҳо ва ибораҳо аз матн истифода мешавад.

Принсипи кор:

1. Матн ба токенҳо (калимаҳо) тақсим мешавад, одатан бо хориҷ кардани калимаҳои стоп.
2. Граф сохта мешавад, ки дар он нуқтаҳо калимаҳо ва канорҳо пайвастагиҳо байни калимаҳо мебошанд, масалан, агар калимаҳо дар тиреза бо андозаи муайян якҷоя пайдо шаванд.
3. Ба ҳар нуқта вазни ибтидоӣ дода мешавад.
4. Вазни нуқтаҳо такрор ба такрор бо истифода аз формулае, ки ба PageRank монанд аст, ҳисоб карда мешавад, бо дар назар гирифтани вазни нуқтаҳои ҳамсоя.
5. Пас аз ҳосил шудани ҳамоҳангӣ, калимаҳои бо вазни баландтар ҳамчун калидвожаҳо ҳисоб мешаванд.

Масалан: агар дар матн калимаҳои "машинӣ омӯхтан" зиёд пайдо шаванд ва бо калимаҳои дигаре, ки муҳиманд, алоқаманд бошанд, онҳо рейтинг баланд мегиранд ва ҳамчун калидвожаҳо таъкид мешаванд.