Hoe verschilt WordPiece van BPE op het niveau van het kiezen van paren om samen te voegen?

WordPiece en BPE (Byte Pair Encoding) zijn algoritmen voor tokenisatie die tekst opsplitsen in subwoorden, maar verschillen in de manier waarop ze paren kiezen om samen te voegen.

• Bij BPE worden paren van tekens of subwoorden gekozen op basis van hun gezamenlijke frequentie in het corpus. Het algoritme combineert sequentieel de meest frequente paren, zonder probabilistische modellen te overwegen.

• WordPiece gebruikt ook frequenties, maar houdt daarnaast rekening met een probabilistisch taalmodel en kiest paren die de waarschijnlijkheid van de tekstverdeling maximaliseren. Dit stelt WordPiece in staat om beter om te gaan met ambiguïteiten en meer informatieve tokens te creëren.

Kortom, kiest WordPiece paren om samen te voegen niet alleen op basis van frequentie, maar ook op basis van hoezeer ze het taalmodel verbeteren, terwijl BPE zich uitsluitend op frequentie richt.