Как се различава WordPiece от BPE на ниво избор на двойка за сливане?

WordPiece и BPE (Byte Pair Encoding) са алгоритми за токенизация, които разделят текста на поддуми, но се различават по начина, по който избират двойки за сливане.

• В BPE двойките символи или поддуми се избират въз основа на тяхната честота на съвместно появяване в корпуса. Алгоритъмът последователно обединява най-често срещаните двойки, без да взема предвид вероятностни модели.

• WordPiece също използва честоти, но допълнително взема предвид вероятностен модел на езика и избира двойки, които максимизират вероятността за разделяне на текста. Това позволява на WordPiece по-добре да се справя с двусмислията и да създава по-информативни токени.

Кратко казано, WordPiece избира двойки за сливане не само по честота, но и като взема предвид колко те подобряват езиковия модел, докато BPE се базира само на честотата.