Care este diferența dintre self-attention și cross-attention, și pentru ce se folosește fiecare?

Auto-atenție — este un mecanism în care elementele unei secvențe de intrare interacționează între ele pentru a calcula ponderi de importanță. Fiecare element 'privește cu atenție' toate celelalte elemente ale aceleiași secvențe pentru a înțelege care sunt mai importante pentru pasul curent. Acesta este un component cheie în transformatoare pentru procesarea secvențelor, de exemplu, în modele de limbaj.

Atenție încrucișată — este utilizată atunci când există două secvențe diferite: una acționează ca solicitare (query), iar cealaltă ca chei și valori (key, value). Atenția încrucișată permite modelului să se concentreze pe părțile relevante ale celeilalte secvențe în timpul procesării primei. De exemplu, în sarcinile de traducere sau generare de text, atenția încrucișată leagă ieșirea decodorului de ieșirea encoder-ului.

Rezumat:

• Auto-atenția ajută modelul să țină cont de contextul din interiorul unei singure secvențe.
• Atenția încrucișată leagă două secvențe diferite, permițând uneia să țină cont de informațiile celeilalte.

Exemplu: în transformatorul pentru traducere, auto-atenția se aplică în interiorul encoder-ului și decodor-ului, în timp ce atenția încrucișată are loc între encoder și decodor.