¿Qué es un modelo de incrustación y qué es un token?

El modelo de incrustación es una forma de representar objetos (por ejemplo, palabras, frases, imágenes) como vectores de números en un espacio multidimensional. Estos vectores capturan propiedades semánticas o estructurales de los objetos, permitiendo compararlos mediante operaciones matemáticas (por ejemplo, similitud coseno).

Un token es la unidad mínima de texto que procesa el modelo. En PLN, los tokens pueden ser palabras, partes de palabras o incluso caracteres, dependiendo del tokenizador. Por ejemplo, la palabra "programación" puede dividirse en los tokens "program" y "ción".

Ejemplo: en una tarea de búsqueda de documentos similares, el modelo de incrustación convierte cada documento en un vector. Cuando buscamos una nueva consulta, también obtenemos un vector y encontramos los documentos con vectores más cercanos — esto permite tener en cuenta el significado, no solo coincidencias exactas de palabras.