Czym jest model językowy Unigram w tokenizacji (jak w SentencePiece)?

Model języka unigram w tokenizacji, na przykład w SentencePiece, jest modelem statystycznym, który traktuje tekst jako ciąg niezależnych tokenów (podsłów), z których każdy ma swoją własną prawdopodobieństwo.

Główna idea:

• Model zakłada, że każdy token w sekwencji jest wybierany niezależnie z określonym prawdopodobieństwem (unigram — model jednorodny).
• SentencePiece trenuje słownik tokenów, optymalizując zestaw podsłów, aby zmaksymalizować prawdopodobieństwo korpusu treningowego.
• Podczas tokenizacji tekst dzieli się na sekwencję tokenów ze słownika, która maksymalizuje łączne prawdopodobieństwo według modelu.

Zalety:

• Pozwala automatycznie wybrać optymalny zestaw podsłów bez konieczności ręcznego definiowania słownika.
• Dobrze działa z różnymi językami i nieznanymi słowami.

Przykład: dla słowa "unbelievable" model może podzielić je na tokeny "un", "believ", "able" z odpowiadającymi prawdopodobieństwami, wybierając najbardziej prawdopodobne rozbicie.