Какие признаки используются в классических NLP-моделях (TF-IDF, n-граммы, character n-grams)?

В классических NLP-моделях, таких как TF-IDF и n-граммы, используются следующие признаки (features):

• TF-IDF (Term Frequency-Inverse Document Frequency):

  • Term Frequency (TF) — частота появления слова в документе.
  • Inverse Document Frequency (IDF) — обратная частота документа, показывающая, насколько слово уникально для данного документа относительно всего корпуса.
  • Итоговый признак — произведение TF и IDF для каждого слова, отражающее важность слова в документе.

• n-граммы:

  • Последовательности из n подряд идущих слов (например, биграммы — пары слов, триграммы — тройки).
  • Используются для захвата контекста и фразеологии.

• Character n-grams:

  • Последовательности из n подряд идущих символов.
  • Помогают учитывать морфологию, ошибки и особенности написания.

Эти признаки обычно кодируются в виде векторов, где каждый элемент соответствует частоте или весу определённого слова или n-граммы в тексте.