Qu'est-ce que l'attention?

Attention — c'est un mécanisme dans les réseaux neuronaux qui permet au modèle de se concentrer sur les parties les plus importantes des données d'entrée lors du traitement. Contrairement aux modèles traditionnels, qui traitent toutes les informations de manière uniforme, l'attention pondère dynamiquement la contribution de différents éléments, améliorant la qualité de la compréhension et de la génération des données.

Par exemple, dans les tâches de traitement du langage naturel, l'attention aide le modèle à prendre en compte le contexte des mots, en mettant en évidence les mots pertinents lors de la traduction ou de la réponse à des questions.

Exemple d'attention simple (attention par produit scalaire échelonné) en pseudocode:

# Q, K, V — matrices de requêtes, clés et valeurs
scores = Q @ K.T / sqrt(d_k)  # calcul de la similarité
weights = softmax(scores)    # normalisation des poids
output = weights @ V          # somme pondérée des valeurs

Le mécanisme d'attention est à la base des architectures de transformateurs, largement utilisées dans les cadres d'IA modernes.