Ce arată vectorul de atenție în transformatoare?

Vectorul de atenție din transformatoare arată cât de mult "acordă atenție" modelul fiecărui cuvânt (sau token) din secvența de intrare atunci când procesează un anumit token de ieșire. Pe scurt, acestea sunt ponderi care determină importanța fiecărui element de intrare pentru pasul curent.

De exemplu, în timpul traducerii unei propoziții într-un transformator, pentru fiecare cuvânt de pe ieșire se calculează un vector de atenție care indică care cuvinte din propoziția de intrare sunt cele mai relevante pentru generarea acestui cuvânt. Acest lucru permite modelului să ia în considerare contextul și dependențele dintre cuvinte, chiar dacă acestea sunt îndepărtate între ele.

Vectorul de atenție este un set de numere (ponderi), normalizate de obicei cu softmax, unde valorile mari indică o relevanță mai mare a tokenului de intrare corespunzător pentru pasul curent.

Exemplu: dacă modelul traduce cuvântul "bank" în contextul "river bank", vectorul de atenție poate evidenția cuvintele "river" și "bank" din intrare pentru a înțelege corect semnificația.