Quelles sont les trois matrices utilisées dans l'attention multi-tête?

Dans l'attention multi-tête, trois matrices principales sont utilisées, formées à partir des données d'entrée :

1. Query (Q) — matrice de requêtes, qui détermine quels éléments de l'entrée doivent être pris en compte.
2. Key (K) — matrice de clés, utilisée pour faire correspondre avec les requêtes et déterminer la pertinence.
3. Value (V) — matrice de valeurs, contenant l'information qui sera agrégée dans le résultat de l'attention.

Le processus d'attention calcule les poids d'attention comme le produit scalaire entre Q et K, les normalise et les applique à V pour obtenir une somme pondérée des valeurs. Dans l'attention multi-tête, ce processus est répété plusieurs fois en parallèle avec différentes projections de Q, K et V, permettant au modèle de capturer différents aspects de l'information.