Kas yra daugiakalbės įdėjimai ir kaip jie mokomi (LaBSE)?

Daugialypės įdėklos yra vektorinės žodžių ar sakinių reprezentacijos, mokytos taip, kad skirtingų kalbų žodžiai ar sakiniai, turintys panašią reikšmę, turėtų artimus vektorius bendroje erdvėje. Tai leidžia naudoti vieną modelį teksto apdorojimui keliomis kalbomis, kas yra patogu paieškai, klasifikacijai ir vertimui.

LaBSE (Language-agnostic BERT Sentence Embedding) yra vienas iš tokių modelių, sukurtas Google. Jis mokytas naudojant daug paralelinių tekstų (sakiniai) skirtingomis kalbomis, naudojant BERT architektūrą. Pagrindinė idėja yra sumažinti atstumą tarp išverstų sakinių vektorių ir padidinti atstumą tarp ne išverstų.

LaBSE mokymas apima:

• Dviejų krypčių transformatoriaus (BERT) naudojimą sakinių kodavimui.
• Paralelinius korpusus (sakiniai ir jų vertimai) kaip mokymo duomenis.
• Optimizaciją, siekiant maksimizuoti panašumą tarp išverstų porų įdėklų (pavyzdžiui, naudojant kosinusinį panašumą).

Rezultatas – modelis generuoja universalius įdėklus, kuriuos galima taikyti daugiašalės paieškos, klasterizacijos ir kitų NLP užduočių vykdymui.