Kuidas erineb WordPiece BPE-st paaride valiku tasemel ühendamiseks?

WordPiece ja BPE (Byte Pair Encoding) on algoritmid, mis jagavad teksti alamsõnadeks, kuid erinevad selles, kuidas nad valivad paare ühendamiseks.

• BPE puhul valitakse tähemärkide või alamsõnade paarid nende ühise esinemissageduse põhjal korpuses. Algoritm ühendab järjest kõige sagedamini esinevad paarid, arvestamata tõenäosuslikke mudeleid.

• WordPiece kasutab samuti sagedusi, kuid arvestab lisaks keele tõenäosuslikku mudelit ning valib paarid, mis maksimeerivad teksti jagamise tõenäosust. See võimaldab WordPiece'il paremini tegeleda mitmetähenduslikkusega ja luua informatiivsemaid token'e.

Kokkuvõttes valib WordPiece ühendamiseks paare mitte ainult sageduse järgi, vaid ka selle järgi, kui palju need parandavad keelemudelit, samas kui BPE põhineb ainult sagedusel.