V čom sa WordPiece líši od BPE na úrovni výberu páru na zlúčenie?

WordPiece a BPE (Byte Pair Encoding) sú algoritmy tokenizácie, ktoré rozdeľujú text na podslová, ale líšia sa v spôsobe výberu párov na spojenie.

• V BPE sú páry znakov alebo podslov vyberané na základe ich spoločnej frekvencie v korpuse. Algoritmus postupne spája najčastejšie páry, bez zohľadnenia pravdepodobnostných modelov.

• WordPiece tiež využíva frekvencie, ale navyše zohľadňuje pravdepodobnostný model jazyka a vyberá páry, ktoré maximalizujú pravdepodobnosť rozdelenia textu. To umožňuje WordPiece lepšie zvládať nejasnosti a vytvárať informatívnejšie tokeny.

Stručne povedané, WordPiece vyberá páry na spojenie nielen podľa frekvencie, ale aj podľa toho, ako veľmi zlepšujú jazykový model, zatiaľ čo BPE sa zameriava iba na frekvenciu.