Qu'est-ce qu'une opération de pliage ? Quelles sont ses propriétés ? Comment peut-elle être représentée sous forme de multiplication matricielle (im2col) ?

L’opération de convolution est une opération fondamentale dans les réseaux neuronaux convolutifs (CNN), utilisée pour extraire des caractéristiques des données d’entrée (par exemple, des images). Elle consiste à appliquer de manière glissante un filtre (noyau de convolution) au signal d’entrée avec une sommation ultérieure des produits des éléments du filtre et des éléments correspondants de l’entrée.

Principales propriétés de la convolution :

• Localité : le filtre couvre une zone locale des données d’entrée.
• Économie paramétrique : le même filtre est appliqué à toute l’entrée.
• Invariance aux décalages : la convolution détecte des caractéristiques indépendamment de leur position.

Représentation de la convolution par multiplication matricielle (im2col) :

La méthode im2col transforme l’image d’entrée en une matrice, où chaque colonne correspond à une section locale (fenêtre) déployée en vecteur, sur laquelle le filtre est appliqué. Le filtre est déployé en une ligne-vecteur. Ensuite, la convolution se réduit à multiplier la matrice im2col par le vecteur du filtre, ce qui permet d’utiliser efficacement des opérations optimisées de multiplication matricielle.

Exemple :

• Image d’entrée 4x4
• Filtre 3x3

im2col créera une matrice de taille 9x4 (chaque colonne étant une fenêtre 3x3 déployée en vecteur), et le filtre sera un vecteur de longueur 9. Le résultat de la multiplication sera un vecteur de longueur 4, qui peut être reconverti en une carte de caractéristiques 2x2.

Cela accélère les calculs et simplifie la mise en œuvre des convolutions sur GPU et CPU.