Tokenizatsiis Unigram lingvisturi modeli (SentencePiece-ის მსგავსად)?

Tokenizatsiya qilishda unigram til modeli, masalan SentencePiece'da, matnni mustaqil tokenlar (subso'zlar) ketma-ketligi sifatida ko'radigan statistik model bo'lib, har birining o'z ehtimoli bor.

Asosiy g'oya:

• Model, har bir tokenning ketma-ketlikda mustaqil ravishda tanlanishini taxmin qiladi (unigram — homojen model).
• SentencePiece, o'quv korpusining ehtimolini maksimal qilish uchun subso'zlar to'plamini optimallashtirib, tokenlar lug'atini o'qitadi.
• Tokenizatsiya jarayonida, matn, modelga ko'ra umumiy ehtimolini maksimal qiladigan lug'atdagi tokenlar ketma-ketligiga bo'linadi.

Afzalliklar:

• Avtomatik ravishda eng optimal subso'zlar to'plamini tanlash imkonini beradi, qo'lda lug'atni belgilash shart emas.
• Turli tillar va noma'lum so'zlar bilan yaxshi ishlaydi.

Misol: "unbelievable" so'zi uchun model uni "un", "believ", "able" tokenlariga bo'lishi mumkin va eng ehtimoliy bo'linishni tanlaydi.