O que são embeddings multilíngues e como são treinados (LaBSE)?

Embeddings multilíngues são representações vetoriais de palavras ou frases, treinadas de modo que palavras de diferentes idiomas com significado semelhante tenham vetores próximos em um espaço comum. Isso permite usar um único modelo para processar texto em vários idiomas, o que é conveniente para tarefas de busca, classificação e tradução.

LaBSE (Language-agnostic BERT Sentence Embedding) é um desses modelos, desenvolvido pelo Google. É treinado com uma grande quantidade de textos paralelos (frases) em diferentes idiomas usando a arquitetura BERT. A ideia principal é minimizar a distância entre os vetores de frases traduzidas e maximizar a distância entre as não traduzidas.

O treinamento do LaBSE inclui:

• Uso de um transformador bidirecional (BERT) para codificar frases.
• Corpos paralelos (frases e suas traduções) como dados de treino.
• Otimização usando a tarefa de maximizar a similaridade entre os embeddings de pares traduzidos (por exemplo, usando similaridade de cosseno).

Como resultado, o modelo gera embeddings universais que podem ser usados para busca multilíngue, clustering e outras tarefas de PLN.