Kako se WordPiece razlikuje od BPE na nivou izbora para za spajanje?

WordPiece и BPE (Byte Pair Encoding) су алгоритми токенизације који деле текст на подречи, али се разликују у начину избора парова за спајање.

• У BPE, парови карактера или подречи се бирају на основу њихове заједничке учесталости у корпусу. Алгоритам последовно спаја најчешће парове, без узимања у обзир probabilističке моделе.

• WordPiece такође користи учесталости, али додатно узима у обзир probabilističки модел језика, бирајући парове који максимизирају вероватноћу раздвајања текста. Ово омогућава WordPiece-у боље да се носи са двосмислима и ствара информативније токене.

Укратко, WordPiece бира парове за спајање не само по учесталости, већ и у зависности од тога колико они побољшавају модел језика, док се BPE ослања само на учесталост.