Šta je Unigram model jezika u tokenizaciji (kao u SentencePiece)?

Модел језика unigram у токенизацији, на пример у SentencePiece, је статистички модел који посматра текст као низ независних токена (подсловa), од којих сваки има своју вероватноћу.

Главна идеја:

• Модел претпоставља да се сваки токен у низу бира независно са одређеном вероватноћом (unigram — хомогени модел).
• SentencePiece тренира речник токена, оптимизујући скуп подсловa како би максимизирао вероватноћу тренинг корпуса.
• Током токенизације, текст се дели на низ токена из речника који максимизира укупну вероватноћу према моделу.

Предности:

• Омогућава аутоматски избор оптималног скупа подсловa без потребе за ручним дефинисањем речника.
• Добро функционише са различитим језицима и непознатим речима.

Пример: за реч "unbelievable" модел може да је подели на токене "un", "believ", "able" са одговарајућим вероватноћама, бирајући највероватније разбијање.