Koje tri matrice se koriste u multihead pažnji?

U multihead pažnje koriste se tri glavne matrice koje se formiraju od ulaznih podataka:

1. Query (Q) — matrica upita, koja određuje na koje elemente ulaza treba obratiti pažnju.
2. Key (K) — matrica ključeva, koja se koristi za usklađivanje sa upitima i određivanje relevantnosti.
3. Value (V) — matrica vrednosti, koja sadrži informacije koje će biti agregirane u rezultat pažnje.

Proces pažnje računa težine pažnje kao skalarni proizvod između Q i K, normalizuje ih i primenjuje na V da bi dobio ponderisani zbir vrednosti. U multihead pažnji, ovaj proces se ponavlja više puta paralelno sa različitim projekcijama Q, K i V, što omogućava modelu da uhvati različite aspekte informacija.