Что такое Unigram language model в токенизации (как в SentencePiece)?

Unigram language model в токенизации, например в SentencePiece, — это статистическая модель, которая рассматривает текст как последовательность независимых токенов (подслов), каждый из которых имеет свою вероятность.

Основная идея:

• Модель предполагает, что каждый токен в последовательности выбирается независимо с определённой вероятностью (unigram — однородная модель).
• SentencePiece обучает словарь токенов, оптимизируя набор подслов, чтобы максимизировать вероятность обучающего корпуса.
• При токенизации текст разбивается на последовательность токенов из словаря, которая максимизирует общую вероятность по модели.

Преимущества:

• Позволяет автоматически выбирать оптимальный набор подслов без необходимости ручного задания словаря.
• Хорошо работает с разными языками и неизвестными словами.

Пример: для слова "unbelievable" модель может разбить на токены "un", "believ", "able" с соответствующими вероятностями, выбирая наиболее вероятное разбиение.