Kas yra Unigram kalbos modelis žymėjime (kaip SentencePiece)?

Unigram kalbos modelis žodžių skaidyme, pavyzdžiui SentencePiece, yra statistinis modelis, kuris mato tekstą kaip nepriklausomų žodžių (subžodžių) seką, kiekvienas turintis savo tikimybę.

Pagrindinė idėja:

• Modelis daro prielaidą, kad kiekvienas žodis sekoje yra pasirenkamas nepriklausomai su tam tikra tikimybe (unigram — homogeniškas modelis).
• SentencePiece treniruoja žodyną, optimizuodamas subžodžių rinkinį, kad maksimaliai padidintų mokymo korpuso tikimybę.
• Žodžių skaidymo metu tekstas padalijamas į žodžių seką iš žodyno, kuri maksimizuoja bendrą tikimybę pagal modelį.

Privalumai:

• Automatiškai galima pasirinkti optimalų subžodžių rinkinį be rankinio žodyno apibrėžimo.
• Gerai veikia su įvairiomis kalbomis ir nežinomais žodžiais.

Pavyzdys: žodžiui "unbelievable" modelis gali jį padalinti į žodžius "un", "believ", "able" su atitinkamomis tikimybėmis, pasirenkant labiausiai tikėtiną skaidymą.