¿Qué son las incrustaciones multilingües y cómo se entrenan (LaBSE)?

Las incrustaciones multilingües son representaciones vectoriales de palabras o frases, entrenadas de manera que las palabras de diferentes idiomas con significados similares tengan vectores cercanos en un espacio común. Esto permite usar un solo modelo para procesar texto en varios idiomas, lo cual es conveniente para tareas de búsqueda, clasificación y traducción.

LaBSE (Language-agnostic BERT Sentence Embedding) es uno de estos modelos, desarrollado por Google. Está entrenado en una gran cantidad de textos paralelos (frases) en diferentes idiomas utilizando la arquitectura BERT. La idea principal es minimizar la distancia entre los vectores de frases traducidas y maximizar la distancia entre las no traducidas.

El entrenamiento de LaBSE incluye:

• Uso de un transformador bidireccional (BERT) para codificar frases.
• Corpora paralelos (frases y sus traducciones) como datos de entrenamiento.
• Optimización mediante la tarea de maximizar la similitud entre los embeddings de pares traducidos (por ejemplo, usando similitud coseno).

Como resultado, el modelo genera embeddings universales que se pueden aplicar para búsqueda multilingüe, clustering y otras tareas de PLN.