Mis on FastText ja kuidas see lahendab OOV probleemi?

FastText on Facebooki loodud raamatukogu ja mudel, mis on mõeldud sõnade vektoriale esitluste ja teksti klassifikatsiooni jaoks. Erinevalt klassikalistest mudelitest, mis käsitlevad sõna kui jagamatut üksust, jagab FastText sõnad osadeks (tähemärkide n-grammid). See võimaldab mudelil arvestada morfoloogiat ja sõnade sisemist struktuuri.

OOV (Out-Of-Vocabulary) probleem tekib siis, kui testandmetes esinevad sõnad, mis ei olnud treeningandmetes. FastText lahendab selle probleemi, kuna sõna vektor on konstrueeritud selle osade vektorite summa kaudu. Seega, isegi kui sõna on uus, saab selle vektori saada kombineerides teadaolevate osade vektoreid. See parandab haruldaste ja uute sõnade töötlemise kvaliteeti.

Näide: sõna "машинист" võib jagada osadeks "маш", "аши", "шин", "ини", "нист" jne. Kui sõna "машинистка" ei olnud treeningandmetes, saab selle vektori siiski saada teadaolevate osade põhjal.