Разкажете ни за bag-of-words и неговите ограничения.

Bag-of-Words (BoW) е прост метод за представяне на текст като набор от думи, без да се взема предвид редът и граматическата структура. Текстът се разбива на думи (токени), и се създава вектор, където всеки елемент отразява количеството или наличието на конкретна дума в документа.

Ограничения на BoW:

• Загуба на реда на думите. Контекстът и значението, които зависят от реда, не се вземат предвид.
• Игнориране на семантиката. Думи с различно значение, но подобна форма, се третират еднакво.
• Голяма размерност. За големи речници векторите стават разредени и обемисти.
• Чувствителност към шум. Често срещани, но малко информативни думи (стоп думи) могат да влияят на модела.

Пример за BoW за изречението "Котката седи на килима":

дума	количество
Котка	1
седи	1
на	1
килим	1