Kas ir Unigram valodas modelis tokenizācijā (kā SentencePiece)?

Unigram valodas modelis tokenizācijā, piemēram, SentencePiece, ir statistisks modelis, kas uzskata tekstu par neatkarīgu tokenu (apakšvārdu) secību, katram ar savu varbūtību.

Galvenā ideja:

• Modelis pieņem, ka katrs tokens secībā tiek izvēlēts neatkarīgi ar noteiktu varbūtību (unigram — homogēns modelis).
• SentencePiece apmāca tokenu vārdnīcu, optimizējot apmācības korpusa varbūtību.
• Tokenizācijas laikā teksts tiek sadalīts secībā no vārdnīcas, kas maksimizē kopējo varbūtību saskaņā ar modeli.

Priekšrocības:

• Automātiski var izvēlēties optimālo apakšvārdu kopu bez nepieciešamības manuāli definēt vārdnīcu.
• Labs darbības veids ar dažādām valodām un nezināmiem vārdiem.

Piemērs: vārda "unbelievable" gadījumā modelis to var sadalīt tokens "un", "believ", "able" ar atbilstošām varbūtībām, izvēloties vispievilcīgāko sadalījumu.