Was ist das Unigram-Sprachmodell bei der Tokenisierung (wie bei SentencePiece)?

Das Unigram-Sprachmodell bei der Tokenisierung, zum Beispiel in SentencePiece, ist ein statistisches Modell, das den Text als Folge unabhängiger Tokens (Subwörter) betrachtet, von denen jedes seine eigene Wahrscheinlichkeit hat.

Hauptidee:

• Das Modell nimmt an, dass jedes Token in der Sequenz unabhängig mit einer bestimmten Wahrscheinlichkeit gewählt wird (Unigram — homogener Modell).
• SentencePiece trainiert ein Token-Wörterbuch, indem es die Menge der Subwörter optimiert, um die Wahrscheinlichkeit des Trainingskorpus zu maximieren.
• Beim Tokenisieren wird der Text in eine Sequenz von Tokens aus dem Wörterbuch zerlegt, die die Gesamtwahrscheinlichkeit nach dem Modell maximiert.

Vorteile:

• Ermöglicht die automatische Auswahl des optimalen Sets von Subwörtern, ohne manuell ein Wörterbuch festlegen zu müssen.
• Funktioniert gut mit verschiedenen Sprachen und unbekannten Wörtern.

Beispiel: Für das Wort "unbelievable" kann das Modell es in die Tokens "un", "believ", "able" zerlegen, mit entsprechenden Wahrscheinlichkeiten, und die wahrscheinlichste Zerlegung wählen.