Čo ukazuje vektor pozornosti v transformatorjih?

Vektor pozornosti v transformátoroch ukazuje, ako veľmi model "venuje pozornosť" každej slovu (alebo tokenu) vstupnej sekvencie pri spracovaní konkrétneho tokenu na výstupe. Jednoducho povedané, sú to váhy, ktoré určujú dôležitosť každého vstupného prvku pre aktuálny krok.

Napríklad, pri preklade vety v transformátore, pre každé slovo na výstupe sa vypočíta vektor pozornosti, ktorý ukazuje, ktoré slová vo vstupe sú najrelevantnejšie pre generovanie tohto slova. To umožňuje modelu zohľadniť kontext a závislosti medzi slovami, aj keď sú vzdialené od seba.

Vektor pozornosti je súbor čísel (váh), zvyčajne normalizovaných pomocou softmax, kde väčšie hodnoty znamenajú väčšiu dôležitosť príslušného vstupného tokenu pre aktuálny krok.

Príklad: ak model prekladá slovo "bank" v kontexte "river bank", vektor pozornosti môže zvýrazniť slová "river" a "bank" vo vstupe, aby správne pochopil význam.