Cosa mostra il vettore di attenzione nei trasformatori?

Il vettore di attenzione nei trasformatori mostra quanto il modello "prestare attenzione" a ogni parola (o token) della sequenza di input durante l'elaborazione di un token specifico in output. In parole semplici, sono pesi che determinano l'importanza di ogni elemento di input per il passo corrente.

Ad esempio, durante la traduzione di una frase in un trasformatore, per ogni parola in output viene calcolato un vettore di attenzione che indica quali parole nella frase di input sono più rilevanti per generare quella parola. Questo permette al modello di considerare il contesto e le dipendenze tra le parole, anche se sono lontane tra loro.

Il vettore di attenzione è un insieme di numeri (pesi), normalizzati generalmente con softmax, dove valori più grandi indicano una maggiore rilevanza del token di input corrispondente per il passo corrente.

Esempio: se il modello sta traducendo la parola "bank" nel contesto di "river bank", il vettore di attenzione può evidenziare le parole "river" e "bank" in input per comprendere correttamente il significato.