V čem se WordPiece liší od BPE na úrovni výběru páru pro sloučení?

WordPiece a BPE (Byte Pair Encoding) jsou algoritmy tokenizace, které rozdělují text na podslova, ale liší se ve způsobu výběru párů pro spojení.

• V BPE jsou páry znaků nebo podslov vybírány na základě jejich společné frekvence v korpusu. Algoritmus postupně spojuje nejčastější páry, aniž by bral v úvahu pravděpodobnostní modely.

• WordPiece také využívá frekvence, ale navíc zohledňuje pravděpodobnostní model jazyka a vybírá páry, které maximalizují pravděpodobnost rozdělení textu. To umožňuje WordPiece lépe zvládat nejasnosti a vytvářet informativnější tokeny.

Stručně řečeno, WordPiece vybírá páry ke spojení nejen podle frekvence, ale i podle toho, jak moc zlepšují jazykový model, zatímco BPE se zaměřuje pouze na frekvenci.