Wat zijn meertalige embeddings en hoe worden ze getraind (LaBSE)?

Meertalige embeddings zijn vectorrepresentaties van woorden of zinnen, getraind zodat woorden uit verschillende talen met vergelijkbare betekenis dicht bij elkaar liggen in een gemeenschappelijke ruimte. Dit maakt het mogelijk om één model te gebruiken voor het verwerken van tekst in meerdere talen, wat handig is voor zoek-, classificatie- en vertaaltaken.

LaBSE (Language-agnostic BERT Sentence Embedding) is een van deze modellen, ontwikkeld door Google. Het is getraind op een grote hoeveelheid parallelle teksten (zinnen) in verschillende talen met behulp van de BERT-architectuur. Het hoofdidee is om de afstand tussen de vectoren van vertaalde zinnen te minimaliseren en de afstand tussen niet-vertaalde zinnen te maximaliseren.

De training van LaBSE omvat:

• Gebruik van een bidirectionele transformer (BERT) voor het coderen van zinnen.
• Parallelle corpora (zinnen en hun vertalingen) als trainingsgegevens.
• Optimalisatie door de taak om de gelijkenis tussen de embeddings van vertaalde paren te maximaliseren (bijvoorbeeld met behulp van cosine similarity).

Als resultaat genereert het model universele embeddings die kunnen worden toegepast voor meertalige zoekopdrachten, clustering en andere NLP-taken.