Tokenizatsiyada Unigram тили модел эмне (SentencePiece сыяктуу)?

Tokenizatsiya убакытында unigram тил модели, мисалы SentencePieceде, текстти көз карандысыз токендердин (подсөздөрдүн) тизмеги катары караган статистикалык модел болуп саналат жана ар биринин өзүнүн мүмкүнчүлүгү бар.

Негизги идея:

• Модель, ар бир токендин көз карандысыз түрдө белгилүү бир мүмкүнчүлүк менен тандалганын кабыл алат (unigram — бирдей модель).
• SentencePiece, окутуу корпусунун мүмкүнчүлүгүн максималдаштыруу үчүн подсөздөрдүн топтомун оптималдаштырып, токендердин сөздүгүн үйрөтөт.
• Токенизация учурунда, текст, моделге ылайык жалпы мүмкүнчүлүгүн максималдаштыра турган сөздүктөгү токендердин тизмегине бөлүнөт.

Артыкчылыктары:

• Кол менен сөздүк аныктоого муктаж болбой, автоматтык түрдө эң жакшы подсөздөр топтомун тандоого мүмкүндүк берет.
• Түрдүү тилдер жана белгисиз сөздөр менен жакшы иштейт.

Мисал: "unbelievable" сөзү үчүн модел аны "un", "believ", "able" токендерине бөлүп, эң мүмкүнчүлүгү жогорку бөлүнүүнү тандай алат.