Bag-of-words va uning cheklovlari haqida gapirib bering.

Bag-of-Words (BoW) — bu oddiy usul bo‘lib, matnni tartib va grammatik tuzilmasini hisobga olmasdan so‘zlar to‘plami sifatida ifodalash uchun ishlatiladi. Matn so‘zlarga (tokenlarga) bo‘linadi va har bir elementda hujjatda ma’lum bir so‘zning miqdori yoki mavjudligi aks ettiriladigan vektor hosil qilinadi.

BoW ning cheklovlari:

• So‘zlarning tartibini yo‘qotish. Kontekst va ma’no, so‘zlarning tartibiga bog‘liq bo‘lib, hisobga olinmaydi.
• Semantikani e’tiborga olmaslik. Turli ma’nolarga ega, ammo shakli o‘xshash so‘zlar bir xil tarzda ko‘riladi.
• Katta o‘lcham. Katta lug‘atlar uchun vektorlar tarqalgan va katta bo‘lib qoladi.
• Shovqinlarga sezgirlik. Ko‘p uchraydigan, ammo kam ma’lumot beradigan so‘zlar (stop so‘zlar) modelga ta’sir qilishi mumkin.

Misol uchun, "Mushuk polga o'tirgan" jumlasi uchun BoW:

so‘z	miqdor
Mushuk	1
polga	1
o'tirgan	1