Расскажите про bag-of-words и его ограничения.

Bag-of-Words (BoW) — это простой метод представления текста в виде набора слов без учета порядка и грамматической структуры. Текст разбивается на слова (токены), и создается вектор, где каждый элемент отражает количество или наличие конкретного слова в документе.

Ограничения BoW:

• Потеря порядка слов. Контекст и смысл, зависящий от порядка слов, не учитываются.
• Игнорирование семантики. Слова с разным значением, но схожей формой, рассматриваются одинаково.
• Большая размерность. Для больших словарей векторы становятся разреженными и громоздкими.
• Чувствительность к шуму. Часто встречающиеся, но малоинформативные слова (стоп-слова) могут влиять на модель.

Пример BoW для предложения "Кошка сидит на ковре":

слово	количество
Кошка	1
сидит	1
на	1
ковре	1