FastText деген эмне жана ал OOV маселесин кантип чечет?
sobes.tech AI
AIден жооп
FastText — бул Facebook тарабынан иштелип чыккан китепкана жана модель, ал сөздөрдүн вектордук көрсөтүүлөрүн жана текстти классификациялоону үйрөтүү үчүн колдонулат. Классикалык моделдерден айырмаланып, FastText сөздү бөлүнбөстөн бирдик катары карабайт, анын ордуна сөздөрдү кыскача бөлүмдөргө (тамга н-граммдары) бөлөт. Бул моделге сөздөрдүн морфологиясын жана ички түзүлүшүн эске алууга мүмкүндүк берет.
OOV (Out-Of-Vocabulary) көйгөйү тест маалыматтарында тренинг топтомуна кирбеген сөздөр кездешкенде пайда болот. FastText бул көйгөйдү чечет, анткени сөздүн вектору анын бөлүмдөрүнүн векторлорунун жыйындысы катары курулат. Ошентип, жаңы сөз болсо да, анын вектору белгилүү бөлүмдөрдүн векторлорун бириктирүү аркылуу алынышы мүмкүн. Бул сирек жана жаңы сөздөрдү иштетүүнүн сапатын жакшыртат.
Мисал: "машинист" сөзү "маш", "аши", "шин", "ини", "нист" жана башка бөлүмдөргө бөлүнүшү мүмкүн. Эгер "машинистка" сөзү окутууда кездешпесе, анын вектору дагы эле кездешкен бөлүмдөрдөн алынат.