Opowiedz o bag-of-words i jego ograniczeniach.

Bag-of-Words (BoW) to prosty sposób reprezentacji tekstu jako zbioru słów bez uwzględniania kolejności i struktury gramatycznej. Tekst jest dzielony na słowa (tokeny), a tworzony jest wektor, w którym każdy element odzwierciedla ilość lub obecność konkretnego słowa w dokumencie.

Ograniczenia BoW:

• Utrata kolejności słów. Kontekst i znaczenie zależne od kolejności nie są brane pod uwagę.
• Ignorowanie semantyki. Słowa o różnych znaczeniach, ale podobnej formie, są traktowane tak samo.
• Duża wymiarowość. Dla dużych słowników wektory stają się rzadkie i nieporęczne.
• Wrażliwość na szum. Często występujące, ale mało informatywne słowa (stop słowa) mogą wpływać na model.

Przykład BoW dla zdania "Kot siedzi na dywanie":

słowo	ilość
Kot	1
siedzi	1
na	1
dywanie	1