Co je to model jazy Unigram v tokenizaci (jako v SentencePiece)?

Model jazyka unigram při tokenizaci, například v SentencePiece, je statistický model, který považuje text za posloupnost nezávislých tokenů (podslov), z nichž každý má svou vlastní pravděpodobnost.

Hlavní myšlenka:

• Model předpokládá, že každý token v posloupnosti je vybírán nezávisle s určitou pravděpodobností (unigram — homogenní model).
• SentencePiece trénuje slovník tokenů, optimalizací sady podslov tak, aby maximalizoval pravděpodobnost tréninkového korpusu.
• Při tokenizaci je text rozdělen na posloupnost tokenů ze slovníku, která maximalizuje celkovou pravděpodobnost podle modelu.

Výhody:

• Umožňuje automaticky vybírat optimální sadu podslov bez nutnosti ručního zadávání slovníku.
• Dobře funguje s různými jazyky a neznámými slovy.

Příklad: pro slovo "unbelievable" může model rozdělit na tokeny "un", "believ", "able" s odpovídajícími pravděpodobnostmi, vybírajíc nejpravděpodobnější rozdělení.