Co ukazuje vektor pozornosti v transformátorech?

Vektor pozornosti v transformátorech ukazuje, jak mocně model "věnuje pozornost" každému slovu (nebo tokenu) vstupní posloupnosti při zpracování konkrétního tokenu na výstupu. Jednoduše řečeno, jsou to váhy, které určují důležitost každého vstupního prvku pro aktuální krok.

Například při překladu věty v transformátoru se pro každé slovo na výstupu vypočítá vektor pozornosti, který ukazuje, která slova ve vstupní větě jsou nejrelevantnější pro generování tohoto slova. To umožňuje modelu zohlednit kontext a závislosti mezi slovy, i když jsou od sebe vzdálená.

Vektor pozornosti je soubor čísel (vah), obvykle normalizovaných pomocí softmax, kde větší hodnoty znamenají větší důležitost odpovídajícího vstupního tokenu pro aktuální krok.

Příklad: pokud model překládá slovo "bank" v kontextu "river bank", může vektor pozornosti zvýraznit slova "river" a "bank" ve vstupu, aby správně pochopil význam.