Tokenizasiya (SentencePiece kimi) Unigram dil model nədir?

Tokenizasiya zamanı unigram dil modeli, məsələn SentencePiece-də, mətni müstəqil tokenlər (altkəlimələr) ardıcıllığı kimi nəzərdən keçirən statistik modeldir və hər birinin öz ehtimalı var.

Əsas fikir:

• Model, ardıcıllıqdakı hər tokenin müstəqil şəkildə müəyyən ehtimalla seçildiyini qəbul edir (unigram — homojen model).
• SentencePiece, təlim korpusunun ehtimalını maksimuma çatdırmaq üçün altkəlimələr toplusunu optimallaşdıraraq bir token lüğəti öyrədir.
• Tokenizasiya zamanı, mətn, modelə görə ümumi ehtimalı maksimum edən lüğətdəki tokenlər ardıcıllığına bölünür.

Üstünlüklər:

• Əl ilə lüğət təyin etməyə ehtiyac olmadan avtomatik olaraq ən optimal altkəlimlər toplusunu seçməyə imkan verir.
• Müxtəlif dillər və bilinməyən sözlərlə yaxşı işləyir.

Nümunə: "unbelievable" sözünə görə model onu "un", "believ", "able" tokenlərinə bölə bilər və ən ehtimalı bölünməni seçər.