Mesélj a bag-of-words-ról és annak korlátairól.

Bag-of-Words (BoW) egy egyszerű módszer a szöveg reprezentálására, amely a szavak halmazaként jeleníti meg a szöveget anélkül, hogy figyelembe venné a sorrendet vagy a nyelvtani szerkezetet. A szöveg szavakra (tokenekre) oszlik, és egy vektort hozunk létre, ahol minden elem egy adott szó mennyiségét vagy jelenlétét tükrözi a dokumentumban.

A BoW korlátai:

• A szavak sorrendjének elvesztése. A kontextus és a jelentés, amelyek a sorrendtől függenek, nem kerülnek figyelembevételre.
• A szemantika figyelmen kívül hagyása. Különböző jelentésű, de hasonló formájú szavakat ugyanúgy kezelnek.
• Nagy dimenzió. Nagy szótárak esetén a vektorok széttagoltak és nehezen kezelhetők.
• Zajra való érzékenység. Gyakran előforduló, de kevés információt tartalmazó szavak (stop szavak) befolyásolhatják a modellt.

Példa BoW-ra a "Macska ül a szőnyegen" mondatra:

szó	mennyiség
Macska	1
ül	1
a	1
szőnyeg	1