Bag-of-words və onun məhdudiyyətləri haqqında danış.

Bag-of-Words (BoW) — bu sadə metod olub, mətni ardıcıllıq və qrammatik struktur nəzərə alınmadan sözlərin toplusu kimi təqdim edir. Mətn sözlərə (tokenlərə) bölünür və hər elementdə sənəddə müəyyən bir sözün miqdarı və ya mövcudluğu əks etdirən vektor yaradılır.

BoW-un məhdudiyyətləri:

• Sözlərin ardıcıllığının itirilməsi. Kontekst və mənası, ardıcıllığa bağlıdır və nəzərə alınmır.
• Semantikadan imtina. Müxtəlif mənalara malik sözlər, lakin oxşar formada, eyni şəkildə qiymətləndirilir.
• Yüksək ölçü. Böyük sözlüklər üçün vektorlar seyrek və həcimli olur.
• Səs-küyə həssaslıq. Tez-tez rast gəlinən, lakin az məlumatlı sözlər (stop sözlər) modelə təsir edə bilər.

Məsəl üçün, "Məshək divarda oturur" cümləsi üçün BoW:

söz	miqdar
Məshək	1
divar	1
oturur	1