Kas ir daudzvalodu iekļaušanas un kā tie tiek apmācīti (LaBSE)?

Daudzvalodu iepakojumi ir ir ir ir ir ir ir ir univērsālas vektoru reprezentācijas, kas ir apmācītas tā, lai vārdi vai teikumi dažādās valodās ar līdzīgu nozīmi būtu tuvu viens otram kopīgā telpā. Tas ļauj izmantot vienu modeli teksta apstrādei vairākās valodās, kas ir ērti meklēšanai, klasifikācijai un tulkošanai.

LaBSE (Language-agnostic BERT Sentence Embedding) ir viens no šādiem modeļiem, ko izstrādājusi Google. Tas ir apmācīts uz lielu daudzumu paralēlu tekstu (teikumu) dažādās valodās, izmantojot BERT arhitektūru. Galvenā ideja ir minimizēt attālumu starp tulkoto teikumu vektoriem un maksimizēt attālumu starp ne-tulkotajiem.

LaBSE apmācība ietver:

• Divvirzienu transformatora (BERT) izmantošanu teikumu kodēšanai.
• Paralēlus korpusus (teikumus un to tulkojumus) kā apmācības datus.
• Optimizāciju, maksimizējot līdzību starp tulkoto pāru iekļāvumiem (piemēram, izmantojot kosinusa līdzību).

Rezultātā modelis ģenerē universālus iekļāvumus, kurus var izmantot daudzvalodu meklēšanai, klasterizācijai un citām NLP uzdevumiem.