Модели забони Unigram дар токенсозӣ (монанди SentencePiece) чист?

Модели забони unigram дар токенсозӣ, масалан дар SentencePiece, як модели оморӣ мебошад, ки матнро ҳамчун пайдарпайии токенҳои мустақил (подсўзҳо) мебинад, ҳар яке бо эҳтимолияти худ.

Нақшаи асосӣ:

• Модел мепиндо, ки ҳар як токен дар пайдарпайӣ мустақилона бо эҳтимолияти муайян интихоб мешавад (unigram — модел якхела).
• SentencePiece луғати токенҳоро омӯзиш медиҳад, бо оптимизатсияи маҷмўи подсўзҳо барои максимизатсияи эҳтимолияти корпуси омӯзишӣ.
• Дар токенсозӣ, матн ба пайдарпайии токенҳо аз луғат тақсим мешавад, ки эҳтимолияти умумиро мувофиқи модел максимизатсия мекунад.

Фоидаҳо:

• Имкон медиҳад, ки автоматӣ маҷмўи беҳтарини подсўзҳоро интихоб кард, бе ниёз ба муайян кардани луғат ба дастӣ.
• Бо забонҳои гуногун ва калимаҳои ношинос хуб кор мекунад.

Масалан: барои калимаи "unbelievable" модел метавонад онро ба токенҳо "un", "believ", "able" тақсим кунад, бо эҳтимолиятҳои мувофиқ, ва беҳтарин тақсимотро интихоб кунад.