Πώς λειτουργεί ο αλγόριθμος TextRank για την εξαγωγή λέξεων-κλειδιών;

Ο αλγόριθμος TextRank είναι ένας αλγόριθμος γραφήματος βασισμένος στην ιδέα του PageRank, που χρησιμοποιείται για την εξαγωγή λέξεων και φράσεων-κλειδιών από το κείμενο.

Αρχή λειτουργίας:

1. Το κείμενο διασπάται σε tokens (λέξεις), συνήθως με την αφαίρεση των stop-words.
2. Δημιουργείται ένα γράφημα όπου οι κόμβοι είναι λέξεις και οι ακμές είναι συνδέσεις μεταξύ λέξεων, π.χ., αν οι λέξεις εμφανίζονται δίπλα-δίπλα σε ένα σταθερό παράθυρο.
3. Σε κάθε κόμβο αποδίδεται αρχικό βάρος.
4. Τα βάρη των κόμβων επαναυπολογίζονται με μια επαναληπτική διαδικασία, χρησιμοποιώντας μια φόρμουλα παρόμοια με το PageRank, λαμβάνοντας υπόψη τα βάρη των γειτονικών κόμβων.
5. Μετά τη σύγκλιση του αλγορίθμου, οι λέξεις με το μεγαλύτερο βάρος θεωρούνται λέξεις-κλειδιά.

Παράδειγμα: αν στο κείμενο συχνά εμφανίζονται οι λέξεις "μηχανική μάθηση" και σχετίζονται με άλλες σημαντικές λέξεις, θα λάβουν υψηλή βαθμολογία και θα επισημανθούν ως λέξεις-κλειδιά.