Aké tri matice sa používajú v multihead attention?

V multihead attention sa používajú tri hlavné matice, ktoré sa tvoria z vstupných údajov:

1. Query (Q) — matica dopytov, ktorá určuje, na ktoré prvky vstupu treba venovať pozornosť.
2. Key (K) — kľúčová matica, ktorá sa používa na zladenie s dopytmi a určenie relevantnosti.
3. Value (V) — matica hodnôt, ktorá obsahuje informácie, ktoré budú agregované vo výsledku pozornosti.

Proces pozornosti vypočíta váhy pozornosti ako skalárny súčin medzi Q a K, normalizuje ich a aplikuje na V, aby získal vážený súčet hodnôt. V multihead attention sa tento proces opakuje viackrát paralelne s rôznymi projekciami Q, K a V, čo umožňuje modelu zachytiť rôzne aspekty informácií.