Welke drie matrices worden gebruikt in multihead attention?

Bij multihead attention worden drie hoofdmatrices gebruikt, die worden gevormd uit de invoergegevens:

1. Query (Q) — de zoekmatrix, die bepaalt op welke invoerelementen de aandacht moet worden gericht.
2. Key (K) — de sleutelsmatrix, die wordt gebruikt om te matchen met de queries en de relevantie te bepalen.
3. Value (V) — de waardematrix, die de informatie bevat die wordt samengevoegd in het resultaat van de aandacht.

Het aandachtproces berekent de aandachtgewichten als het scalair product tussen Q en K, normaliseert deze en past ze toe op V om een gewogen som van de waarden te verkrijgen. Bij multihead attention wordt dit proces meerdere keren parallel herhaald met verschillende projecties van Q, K en V, waardoor het model verschillende aspecten van de informatie kan vastleggen.