WordPiece və BPE arasında birləşdirmək üçün cüt seçimi səviyyəsində nə fərq var?

WordPiece və BPE (Byte Pair Encoding) mətnin altkəlimələrə bölünməsi üçün alqoritmlərdir, lakin birləşmə üçün cütlükləri seçmə üsulunda fərqlənirlər.

• BPE-də, simvollar və ya altkəlim cütlükləri korpusda onların birlikdə görünmə tezliyinə əsasən seçilir. Alqoritm ən çox rast gəlinən cütlükləri ardıcıl şəkildə birləşdirir və ehtimal modellərini nəzərə almır.

• WordPiece də tezlikləri istifadə edir, lakin əlavə olaraq dilin ehtimal modelini nəzərə alır və mətnin bölünmə ehtimalını maksimallaşdıran cütlükləri seçir. Bu, WordPiece-ə çoxmənalılıqlarla daha yaxşı başa çıxmağa və daha məlumatlı tokenlər yaratmağa imkan verir.

Qısaca, WordPiece cütlükləri birləşdirmək üçün yalnız tezliyə görə deyil, həm də onların dil modelini nə dərəcədə yaxşılaşdırdığına görə seçir, BPE isə yalnız tezliyə əsaslanır.