Ce este modelul de limbaj Unigram în tokenizare (ca în SentencePiece)?

Modelul de limbaj unigram în tokenizare, de exemplu în SentencePiece, este un model statistic care consideră textul ca o secvență de tokeni independenți (subcuvinte), fiecare având propria probabilitate.

Ideea principală:

• Modelul presupune că fiecare token din secvență este ales independent cu o anumită probabilitate (unigram — model omogen).
• SentencePiece antrenează un dicționar de tokeni, optimizând setul de subcuvinte pentru a maximiza probabilitatea corpului de antrenament.
• La tokenizare, textul este împărțit într-o secvență de tokeni din dicționar care maximizează probabilitatea totală conform modelului.

Avantaje:

• Permite alegerea automată a setului optim de subcuvinte fără a fi nevoie să se definească manual un dicționar.
• Funcționează bine cu diferite limbi și cu cuvinte necunoscute.

Exemplu: pentru cuvântul "unbelievable", modelul poate să-l împartă în tokeni "un", "believ", "able" cu probabilitățile corespunzătoare, alegând segmentarea cea mai probabilă.