Ko rāda uzmanības vektors transformatoros?

Uzmanības vektors transformatoros rāda, cik ļoti modelis "velta uzmanību" katrai vārdam (vai tokenam) ieejas secībā, apstrādājot konkrētu izejas tokenu. Vienkārši sakot, tie ir svari, kas nosaka katra ieejas elementa nozīmīgumu pašreizējā solī.

Piemēram, tulkošanas laikā transformatorā, katram vārdam izejā tiek aprēķināts uzmanības vektors, kas norāda, kuri vārdi ieejas teikumā ir visatbilstošākie šī vārda ģenerēšanai. Tas ļauj modelim ņemt vērā kontekstu un atkarības starp vārdiem, pat ja tie ir tāli viens no otra.

Uzmanības vektors ir skaitļu (svaru) kopums, parasti normalizēts ar softmax, kur lielākas vērtības norāda uz lielāku attiecīgā ieejas tokena nozīmīgumu pašreizējā solī.

Piemērs: ja modelis tulko vārdu "bank" kontekstā "river bank", uzmanības vektors var izcelt ieejas vārdus "river" un "bank", lai pareizi saprastu nozīmi.