Junior — Middle
Porozprávajte nám o bag-of-words a jeho obmedzeniach.
sobes.tech AI
Odpoveď od AI
Bag-of-Words (BoW) je preprost način predstavitve besedila kot zbirke besed brez upoštevanja reda in slovničnih struktur. Besedilo se razdeli na besede (tokeni), in ustvari se vektor, kjer vsak element odraža količino ali prisotnost določene besede v dokumentu.
Omejitve BoW:
- Izguba reda besed. Kontekst in pomen, odvisen od reda, nista upoštevana.
- Ignoriranje semantike. Besede z različnim pomenom, a podobno obliko, se obravnavajo enako.
- Visoka dimenzionalnost. Za velike slovarje vektorji postanejo redki in obsežni.
- Občutljivost na šum. Pogoste, a malo informativne besede (stop besede) lahko vplivajo na model.
Primer BoW za stavek "Mačka sedi na preprogi":
| beseda | količina |
|---|---|
| Mačka | 1 |
| sedi | 1 |
| na | 1 |
| preprogi | 1 |