Πες μας για το bag-of-words και τους περιορισμούς του.

Bag-of-Words (BoW) είναι μια απλή μέθοδος αναπαράστασης κειμένου ως σύνολο λέξεων χωρίς να λαμβάνεται υπόψη η σειρά και η γραμματική δομή. Το κείμενο διαχωρίζεται σε λέξεις (tokens), και δημιουργείται ένας διανυσματικός εκπρόσωπος όπου κάθε στοιχείο αντικατοπτρίζει την ποσότητα ή την παρουσία μιας συγκεκριμένης λέξης στο έγγραφο.

Περιορισμοί του BoW:

• Απώλεια της σειράς των λέξεων. Το πλαίσιο και το νόημα που εξαρτώνται από τη σειρά δεν λαμβάνονται υπόψη.
• Παράβλεψη της σημασιολογίας. Λέξεις με διαφορετικό νόημα, αλλά παρόμοια μορφή, αντιμετωπίζονται το ίδιο.
• Μεγάλη διαστατικότητα. Για μεγάλα λεξιλόγια, τα διανύσματα γίνονται αραιά και ογκώδη.
• Ευαισθησία στον θόρυβο. Συχνά εμφανιζόμενες, αλλά λιγότερο ενημερωτικές λέξεις (stop words) μπορούν να επηρεάσουν το μοντέλο.

Παράδειγμα BoW για την πρόταση "Η γάτα κάθεται στο χαλί":

λέξη	ποσότητα
Η	1
γάτα	1
κάθεται	1
στο	1
χαλί	1