Какво е модел на езика Unigram в токенизацията (като в SentencePiece)?

Моделът на езика unigram при токенизация, например в SentencePiece, е статистически модел, който разглежда текста като последователност от независими токени (подсловa), всеки от които има своя вероятност.

Основна идея:

• Моделът предполага, че всеки токен в последователността се избира независимо с определена вероятност (unigram — хомогенен модел).
• SentencePiece обучава речник от токени, оптимизирайки набора от подсловa, за да максимизира вероятността на обучаващия корпус.
• При токенизация текстът се разбива на последователност от токени от речника, която максимизира общата вероятност според модела.

Предимства:

• Позволява автоматично да се избере оптималният набор от подсловa без необходимост от ръчно задаване на речник.
• Добре работи с различни езици и непознати думи.

Пример: за думата "unbelievable" моделът може да я раздели на токени "un", "believ", "able" с съответните вероятности, като избира най-вероятното разделяне.