Что такое нормализация текста (NFC, NFKC) и зачем её делать перед токенизацией?

Нормализация текста (NFC, NFKC) — это процесс преобразования символов Unicode в стандартную форму, чтобы разные варианты представления одного и того же символа стали одинаковыми.

• NFC (Normalization Form C) — композитная форма, где символы, состоящие из базового символа и диакритического знака, объединяются в один символ.
• NFKC — расширенная композитная форма, которая дополнительно учитывает совместимые символы, приводя их к каноническому эквиваленту.

Зачем нормализовать перед токенизацией:

1. Упрощает обработку текста, устраняя неоднозначности.
2. Позволяет корректно сравнивать и искать слова.
3. Обеспечивает единообразие данных для моделей и алгоритмов.

Например, буква "é" может быть записана как один символ (U+00E9) или как 'e' + акцент (U+0065 + U+0301). Без нормализации эти варианты будут восприниматься как разные.