¿Qué es el modelo de lenguaje Unigram en la tokenización (como en SentencePiece)?

El modelo de lenguaje unigram en la tokenización, por ejemplo en SentencePiece, es un modelo estadístico que considera el texto como una secuencia de tokens independientes (subpalabras), cada uno con su propia probabilidad.

Idea principal:

• El modelo asume que cada token en la secuencia se elige independientemente con una probabilidad determinada (unigram — modelo homogéneo).
• SentencePiece entrena un diccionario de tokens, optimizando el conjunto de subpalabras para maximizar la probabilidad del corpus de entrenamiento.
• Al tokenizar, el texto se divide en una secuencia de tokens del diccionario que maximiza la probabilidad total según el modelo.

Ventajas:

• Permite seleccionar automáticamente el conjunto óptimo de subpalabras sin necesidad de definir manualmente un diccionario.
• Funciona bien con diferentes idiomas y palabras desconocidas.

Ejemplo: para la palabra "unbelievable", el modelo puede dividirla en tokens "un", "believ", "able" con probabilidades correspondientes, eligiendo la segmentación más probable.