Milyen három mátrixot használnak a multihead attention-ben?

A multihead attentionben három fő mátrixot használnak, amelyek a bemeneti adatokból képződnek:

1. Query (Q) — kérdőmátrix, amely meghatározza, hogy mely bemeneti elemekre kell figyelmet fordítani.
2. Key (K) — kulcsmátrix, amelyet a kérdésekkel való párosításhoz és a relevancia meghatározásához használnak.
3. Value (V) — értékmátrix, amely tartalmazza azokat az információkat, amelyeket a figyelem eredményeként összegyűjtenek.

A figyelem folyamatában a figyelmi súlyokat a Q és K közötti skalár szorzatként számítják ki, normalizálják, majd alkalmazzák a V-re, hogy súlyozott értékként összegyűjtsék az értékeket. A multihead attention esetében ez a folyamat többször ismétlődik párhuzamosan különböző Q, K és V projekciókkal, lehetővé téve a modell számára, hogy különböző információs aspektusokat ragadjon meg.