Em que o WordPiece difere do BPE ao nível de seleção do par para fusão?

WordPiece e BPE (Byte Pair Encoding) são algoritmos de tokenização que dividem o texto em subpalavras, mas diferem na forma como escolhem os pares para fundir.

• No BPE, os pares de caracteres ou subpalavras são escolhidos com base na frequência de sua ocorrência conjunta no corpus. O algoritmo combina sequencialmente os pares mais frequentes, sem considerar modelos probabilísticos.

• WordPiece também usa frequências, mas além disso considera um modelo probabilístico da língua, escolhendo pares que maximizam a probabilidade de dividir o texto. Isso permite que o WordPiece lide melhor com ambiguidades e crie tokens mais informativos.

Resumindo, o WordPiece escolhe pares para fundir não apenas pela frequência, mas também levando em conta o quanto eles melhoram o modelo de linguagem, enquanto o BPE se baseia apenas na frequência.