Papaskrinkite apie bag-of-words ir jo apribojimus.

Bag-of-Words (BoW) yra paprastas metodas, kaip vaizduoti tekstą kaip žodžių rinkinį, neatsižvelgiant į tvarką ir gramatinę struktūrą. Tekstas yra suskirstytas į žodžius (tokes), ir sukuriamas vektorius, kuriame kiekvienas elementas atspindi tam tikro žodžio kiekį arba buvimą dokumente.

BoW apribojimai:

• Žodžių tvarkos praradimas. Kontekstas ir prasmė, priklausanti nuo tvarkos, nėra atsižvelgiama.
• Semantikos ignoravimas. Žodžiai su skirtinga reikšme, bet panašia forma, yra laikomi vienodais.
• Didelė dimensija. Dideliuose žodynuose vektoriai tampa retki ir dideli.
• Jautrumas triukšmui. Dažnai pasitaikančios, bet mažai informatyvios žodžiai (stop žodžiai) gali paveikti modelį.

Pavyzdys BoW, sakinio "Katė sėdi ant kilimo":

žodis	kiekis
Katė	1
sėdi	1
ant	1
kilimo	1