Qu'est-ce que l'attention multi-query et où est-elle utilisée?

L'attention multi-requête est une modification du mécanisme d'attention dans les transformateurs, où plusieurs clés (keys) et valeurs (values) sont combinées en un ensemble commun, et pour chaque requête (query), un ensemble séparé de requêtes est utilisé. Cela permet de réduire considérablement la mémoire et les coûts de calcul, en particulier lors du traitement de longues séquences, tout en conservant la qualité du modèle.

L'application principale de l'attention multi-requête est dans les grands modèles de langage et transformateurs, où l'efficacité et la scalabilité sont importantes, par exemple dans GPT-4 et d'autres architectures modernes. Cette approche aide à accélérer l'inférence et à réduire les besoins en ressources sans perte significative de précision.

Exemple : au lieu d'avoir des clés et des valeurs séparées pour chaque tête d'attention (multi-head attention), toutes les têtes utilisent un ensemble commun de clés et de valeurs, et les requêtes restent individuelles.