Ką rodo dėmesio vektorius transformatoriuose?

Dėmesio vektorius transformatoriuose rodo, kaip stipriai modelis "skiria dėmesį" kiekvienai žodžio (arba tokeno) įvesties sekos daliai, kai apdoroja konkretų išvesties tokeną. Paprasčiau tariant, tai yra svoriai, kurie nustato kiekvieno įvesties elemento svarbą esamo žingsnio metu.

Pavyzdžiui, vertimo metu transformatoriuje, kiekvienam žodžiui išvestyje apskaičiuojamas dėmesio vektorius, kuris nurodo, kurie įvesties žodžiai yra svarbiausi šio žodžio generavimui. Tai leidžia modeliui atsižvelgti į kontekstą ir priklausomybes tarp žodžių, net jei jie yra toli vienas nuo kito.

Dėmesio vektorius yra skaičių (svorių) rinkinys, dažnai normalizuotas naudojant softmax, kur didesnės reikšmės rodo didesnį atitinkamo įvesties tokeno svarbą esamo žingsnio metu.

Pavyzdys: jei modelis verčia žodį "bank" kontekste "river bank", dėmesio vektorius gali išryškinti žodžius "river" ir "bank" įvestyje, kad teisingai suprastų reikšmę.