Kalit so'zlarni chiqarish uchun TextRank algoritmi qanday ishlaydi?

TextRank algoritmi, PageRank g‘oyasiga asoslangan grafik algoritm bo‘lib, matndan kalit so‘zlar va iboralarni chiqarish uchun qo‘llaniladi.

Ishlash prinsipi:

1. Matn tokenlarga (so‘zlar) bo‘linadi, odatda stop so‘zlar olib tashlanadi.
2. Grafik yaratiladi, unda tugunlar so‘zlar bo‘lib, qirralar so‘zlar o‘rtasidagi bog‘lanishlarni ifodalaydi, masalan, so‘zlar belgilangan o‘lchamdagi oynada yonma-yon kelganda.
3. Har bir tugunga boshlang‘ich vazn beriladi.
4. Tugunlarning vaznlari PageRank ga o‘xshash formuladan foydalanib, takroriy hisoblanadi, ya’ni qo‘shnilar vazni hisobga olinadi.
5. Algoritm yakunlangach, eng yuqori vaznga ega so‘zlar kalit so‘zlar sifatida hisoblanadi.

Misol uchun: matnda tez-tez "mashina o‘rganish" so‘zlari uchraydi va ular boshqa muhim so‘zlar bilan bog‘langan bo‘lsa, ular yuqori reyting oladi va kalit so‘z sifatida ajralib turadi.