Kuras trīs matricas tiek izmantotas multihead attention?

Multihead uzmanības procesā tiek izmantotas trīs galvenās matricu, kas veidojas no ievades datiem:

1. Query (Q) — vaicājuma matrica, kas nosaka, uz kuriem ievades elementiem jāpievērš uzmanība.
2. Key (K) — atslēgas matrica, kas tiek izmantota, lai saskaņotu ar vaicājumiem un noteiktu relevanci.
3. Value (V) — vērtību matrica, kas satur informāciju, kas tiks apkopota uzmanības rezultātā.

Uzmanības process aprēķina uzmanības svarus kā skalaru reizinājumu starp Q un K, tos normalizē un piemēro V, lai iegūtu svērto vērtību summu. Multihead uzmanībā šis process tiek atkārtots vairākas reizes paralēli ar dažādām Q, K un V projekcijām, ļaujot modelim uztvert dažādus informācijas aspektus.