Qual è la differenza tra self-attention e cross-attention, e a cosa serve ciascuno?

Auto-attenzione — è un meccanismo in cui gli elementi di una sequenza di input interagiscono tra loro per calcolare i pesi di importanza. Ogni elemento 'guarda attentamente' tutti gli altri elementi della stessa sequenza per capire quali sono più rilevanti per il passo corrente. Questo è un componente chiave nei trasformatori per l'elaborazione delle sequenze, ad esempio nei modelli di linguaggio.

Attenzione incrociata — viene utilizzata quando ci sono due sequenze diverse: una funge da richiesta (query), e l'altra come chiavi e valori (key, value). L'attenzione incrociata permette al modello di concentrarsi sulle parti rilevanti della seconda sequenza durante l'elaborazione della prima. Ad esempio, nei compiti di traduzione o generazione di testo, l'attenzione incrociata collega l'output del decodificatore con quello dell'encoder.

In sintesi:

• L'auto-attenzione aiuta il modello a considerare il contesto all'interno di una stessa sequenza.
• L'attenzione incrociata collega due sequenze diverse, consentendo a una di considerare le informazioni dell'altra.

Esempio: in un trasformatore per la traduzione, l'auto-attenzione viene applicata all'interno dell'encoder e del decoder, mentre l'attenzione incrociata avviene tra encoder e decoder.