Mi az a FastText és hogyan oldja meg az OOV problémát?

FastText egy könyvtár és modell a Facebooktól, amely a szavak vektoralakítását és szövegosztályozást végzi. A hagyományos modellekkel ellentétben, amelyek a szót egy egységként kezelik, a FastText a szavakat al-szavakra (karakter n-gramokra) bontja. Ez lehetővé teszi a modell számára, hogy figyelembe vegye a morfológiát és a belső szerkezetet.

Az OOV (Out-Of-Vocabulary) probléma akkor fordul elő, amikor a tesztadatokban olyan szavak jelennek meg, amelyek nem szerepeltek a tanító készletben. A FastText ezt a problémát úgy oldja meg, hogy a szó vektora a részsóvok vektorainak összegéből áll. Így még egy új szó is, a ismert részsóvok vektorainak kombinációjával, előállítható. Ez javítja a ritka és új szavak feldolgozásának minőségét.

Példa: a "машинист" szó felbontható "маш", "аши", "шин", "ини", "нист" részekre. Ha a "машинистка" szó nem fordult elő a tanítás során, akkor is a vektora a találkozott részsóvokból származtatható.