Чем WordPiece отличается от BPE на уровне выбора пары для слияния?

WordPiece и BPE (Byte Pair Encoding) — это алгоритмы токенизации, которые разбивают текст на подслова, но отличаются в способе выбора пар для слияния.

• В BPE пары символов или подслов выбираются на основе частоты их совместного появления в корпусе. Алгоритм последовательно объединяет самые частотные пары, не учитывая вероятностные модели.

• WordPiece также использует частоты, но дополнительно учитывает вероятностную модель языка, выбирая пары, которые максимизируют вероятность разбиения текста. Это позволяет WordPiece лучше справляться с неоднозначностями и создавать более информативные токены.

Проще говоря, WordPiece выбирает пары для слияния не только по частоте, но и с учетом того, насколько они улучшают модель языка, тогда как BPE ориентируется только на частоту.