Junior — Middle
Rääkige meile bag-of-words ja selle piirangutest.
sobes.tech AI
Vastus AI-lt
Bag-of-Words (BoW) on lihtne meetod teksti esitamiseks sõnade kogumina, arvestamata järjekorda ja grammatiline struktuur. Tekst jagatakse sõnadeks (tokeniteks), ja luuakse vektor, kus iga element peegeldab konkreetse sõna kogust või olemasolu dokumendis.
BoW piirangud:
- Sõnade järjekorra kaotus. Kontekst ja tähendus, mis sõltuvad järjekorrast, ei võeta arvesse.
- Semantika ignoreerimine. Sõnad, millel on erinev tähendus, kuid sarnane vorm, käsitletakse ühtemoodi.
- Suur mõõtmed. Suurte sõnastike puhul muutuvad vektorid hõredaks ja mahukaks.
- Müra tundlikkus. Sageli esinevad, kuid vähe informatiivsed sõnad (stop sõnad) võivad mudelit mõjutada.
Näide BoW-st lause "Kass istub vaiba peal":
| sõna | kogus |
|---|---|
| Kass | 1 |
| istub | 1 |
| peal | 1 |
| vaip | 1 |