Worin besteht der Unterschied zwischen WordPiece und BPE auf der Ebene der Auswahl des Paares zum Zusammenführen?

WordPiece und BPE (Byte Pair Encoding) sind Tokenisierungsalgorithmen, die Text in Subwörter aufteilen, sich jedoch in der Art und Weise unterscheiden, wie sie Paare zum Zusammenfügen auswählen.

• Bei BPE werden Zeichen- oder Subwortpaare basierend auf ihrer gemeinsamen Häufigkeit im Korpus ausgewählt. Der Algorithmus verbindet sequenziell die häufigsten Paare, ohne probabilistische Modelle zu berücksichtigen.

• WordPiece verwendet ebenfalls Häufigkeiten, berücksichtigt aber zusätzlich ein probabilistisches Sprachmodell und wählt Paare aus, die die Wahrscheinlichkeit der Textaufteilung maximieren. Dies ermöglicht WordPiece, besser mit Mehrdeutigkeiten umzugehen und informativere Tokens zu erstellen.

Kurz gesagt, wählt WordPiece Paare zum Zusammenfügen nicht nur nach Häufigkeit, sondern auch danach, wie sehr sie das Sprachmodell verbessern, während BPE sich nur auf die Häufigkeit stützt.