O que é um modelo de incorporação e o que é um token?

O modelo de incorporação é uma forma de representar objetos (por exemplo, palavras, frases, imagens) como vetores de números em um espaço multidimensional. Esses vetores capturam propriedades semânticas ou estruturais dos objetos, permitindo compará-los usando operações matemáticas (por exemplo, similaridade do cosseno).

Um token é a unidade mínima de texto que o modelo processa. Em PLN, os tokens podem ser palavras, partes de palavras ou até caracteres, dependendo do tokenizador. Por exemplo, a palavra "programação" pode ser dividida em tokens "program" e "ção".

Exemplo: numa tarefa de busca de documentos semelhantes, o modelo de incorporação converte cada documento em um vetor. Quando procuramos uma nova consulta, também obtemos um vetor e encontramos os documentos com vetores mais próximos — isso permite levar em conta o significado, não apenas coincidências exatas de palavras.