Jakie trzy macierze są używane w wielogłowej uwadze?

W wielogłowej uwadze (multihead attention) używa się trzech głównych macierzy, które są tworzone na podstawie danych wejściowych:

1. Query (Q) — macierz zapytań, która określa, na które elementy wejścia należy zwrócić uwagę.
2. Key (K) — macierz kluczy, używana do dopasowania z zapytaniami i określenia istotności.
3. Value (V) — macierz wartości, zawierająca informacje, które będą agregowane w wyniku uwagi.

Proces uwagi oblicza wagi uwagi jako iloczyn skalarny między Q a K, normalizuje je i stosuje do V, aby uzyskać ważoną sumę wartości. W wielogłowej uwadze proces ten powtarza się wielokrotnie równolegle z różnymi projekcjami Q, K i V, co pozwala modelowi wychwytywać różne aspekty informacji.