Tokenizasyon (SentencePiece gibi) içinde Unigram dil modeli nedir?

Tokenizasyon sırasında kullanılan unigram dil modeli, örneğin SentencePiece'de, metni bağımsız tokenler (altkelimeler) dizisi olarak gören istatistiksel bir modeldir ve her birinin kendi olasılığı vardır.

Ana fikir:

• Model, dizideki her tokenin belirli bir olasılıkla bağımsız olarak seçildiğini varsayar (unigram — homojen model).
• SentencePiece, eğitim gövdesinin olasılığını maksimize etmek için altkelimeler kümesini optimize ederek bir token sözlüğü eğitir.
• Tokenizasyon sırasında, metin, model tarafından toplam olasılığı maksimize eden sözlükteki token dizisine bölünür.

Avantajlar:

• Manuel olarak sözlük belirlemeye gerek kalmadan otomatik olarak en uygun altkelime kümesini seçebilir.
• Farklı diller ve bilinmeyen kelimelerle iyi çalışır.

Örnek: "unbelievable" kelimesi için model, "un", "believ", "able" tokenlerine ayırabilir ve en olası bölünmeyi seçer.