Quelle est la différence entre WordPiece et BPE au niveau du choix de la paire à fusionner?

WordPiece et BPE (Byte Pair Encoding) sont des algorithmes de tokenisation qui divisent le texte en sous-mots, mais diffèrent dans la façon dont ils choisissent les paires à fusionner.

• Dans BPE, les paires de caractères ou de sous-mots sont choisies en fonction de leur fréquence d'apparition conjointe dans le corpus. L'algorithme fusionne séquentiellement les paires les plus fréquentes, sans prendre en compte des modèles probabilistes.

• WordPiece utilise également des fréquences, mais considère en plus un modèle probabiliste de la langue, en choisissant les paires qui maximisent la probabilité de division du texte. Cela permet à WordPiece de mieux gérer les ambiguïtés et de créer des tokens plus informatifs.

En résumé, WordPiece choisit les paires à fusionner non seulement en fonction de leur fréquence, mais aussi en tenant compte de l'amélioration qu'elles apportent au modèle linguistique, alors que BPE se concentre uniquement sur la fréquence.