Ispričajte nam o bag-of-words i njegovim ograničenjima.

Bag-of-Words (BoW) je jednostavna metoda predstavljanja teksta kao skupa reči bez uzimanja u obzir reda i gramatičke strukture. Tekst se razdvaja na reči (tokeni), i kreira se vektor u kojem svaki element odražava količinu ili prisustvo određene reči u dokumentu.

Ograničenja BoW:

• Gubitak reda reči. Kontekst i značenje koje zavise od reda nisu uzeti u obzir.
• Ignorisanje semantike. Reči sa različitim značenjem, ali sličnim oblikom, tretiraju se isto.
• Velika dimenzionalnost. Za velike rečnike, vektori postaju retki i glomazni.
• Osetljivost na šum. Često se javljajuće, ali malo informativne reči (stop reči) mogu uticati na model.

Primer BoW za rečenicu "Mačka sedi na tepihu":

reč	količina
Mačka	1
sedi	1
na	1
tepihu	1