Co pokazuje wektor uwagi w transformatorach?

Wektor uwagi w transformatorach pokazuje, jak bardzo model "zwraca uwagę" na każde słowo (lub token) ciągu wejściowego podczas przetwarzania konkretnego tokenu na wyjściu. Mówiąc prościej, są to wagi, które określają znaczenie każdego elementu wejściowego dla bieżącego kroku.

Na przykład, podczas tłumaczenia zdania w transformatorze, dla każdego słowa na wyjściu obliczany jest wektor uwagi, który wskazuje, które słowa w wejściowym zdaniu są najbardziej istotne dla wygenerowania tego słowa. Pozwala to modelowi uwzględnić kontekst i zależności między słowami, nawet jeśli są od siebie daleko.

Wektor uwagi to zbiór liczb (wag), zwykle normalizowanych za pomocą softmax, gdzie większe wartości oznaczają większe znaczenie odpowiedniego tokenu wejściowego dla bieżącego kroku.

Przykład: jeśli model tłumaczy słowo "bank" w kontekście "river bank", wektor uwagi może wyróżniać słowa "river" i "bank" w wejściu, aby poprawnie zrozumieć znaczenie.