Mis on mitmekeelsete sisendite ja kuidas neid treenitakse (LaBSE)?

Mitmekeelsete sisestuste vektorivormingud on sõnade või lausete esitusviisid, mis on treenitud nii, et sarnase tähendusega sõnad erinevates keeltes asuvad ühes ühises ruumis lähedal. See võimaldab kasutada ühte mudelit teksti töötlemiseks mitmes keeles, mis on kasulik otsingu, klassifikatsiooni ja tõlke ülesannete jaoks.

LaBSE (Language-agnostic BERT Sentence Embedding) on üks sellistest mudelitest, mille on välja töötanud Google. See on treenitud suure hulga paralleeltekstide (lausetega) erinevates keeltes, kasutades BERT arhitektuuri. Peamine idee on minimeerida tõlgitud lausete vektorite vahelist kaugust ja maksimeerida tõlkimata lausete vahelist kaugust.

LaBSE treening hõlmab:

• Kahepoolse transformatori (BERT) kasutamist lausete kodeerimiseks.
• Paralleelsete korpuste (laused ja nende tõlked) kasutamist treeningandmetena.
• Optimeerimist, maksimeerides sarnasusparite (näiteks kosinus-sarnasuse) vektorite vahel.

Tulemuseks genereerib mudel universaalseid sisestusi, mida saab kasutada mitmekeelsel otsingul, klasterdamisel ja muudes NLP ülesannetes.