O que é FastText e como resolve o problema OOV?

O FastText é uma biblioteca e modelo do Facebook para aprender representações vetoriais de palavras e classificação de texto. Ao contrário dos modelos clássicos, que consideram a palavra como uma unidade indivisível, o FastText divide as palavras em um conjunto de subpalavras (n-gramas de caracteres). Isso permite que o modelo leve em conta a morfologia e a estrutura interna das palavras.

O problema OOV (Out-Of-Vocabulary) ocorre quando nos dados de teste aparecem palavras que não estavam no conjunto de treinamento. O FastText resolve esse problema porque o vetor da palavra é construído como a soma dos vetores de suas subpalavras. Assim, mesmo que a palavra seja nova, seu vetor pode ser obtido combinando os vetores de subpalavras conhecidas. Isso melhora a qualidade do processamento de palavras raras e novas.

Exemplo: a palavra "машинист" pode ser dividida em subpalavras "маш", "аши", "шин", "ини", "нист" etc. Se a palavra "машинистка" não apareceu no treinamento, seu vetor ainda pode ser obtido a partir das subpalavras que apareceram.