Quels types de convolutions connaissez-vous (standard, depthwise, séparables, dilatées, transposées, groupées) ? Idées, avantages et inconvénients de chacune.

Dans les réseaux neuronaux convolutifs (CNN), il existe plusieurs types de convolutions, chacun avec ses caractéristiques, avantages et inconvénients :

1. Convolution standard (Standard Convolution)

   • Applique un ensemble de filtres à tous les canaux d'entrée simultanément.
   • Avantages : simple et universelle, bien étudiée.
   • Inconvénients : haute complexité computationnelle et nombre de paramètres.

2. Convolution depthwise (profonde)

   • Chaque filtre est appliqué à un canal d'entrée séparément.
   • Avantages : réduit considérablement le nombre de paramètres et de calculs.
   • Inconvénients : ne combine pas l'information entre les canaux, souvent utilisée avec une convolution pointwise.

3. Convolution séparables (Separable Convolution)

   • Composée d'une convolution depthwise suivie d'une convolution pointwise (1x1).
   • Avantages : efficace en termes de paramètres et de calculs, conserve la qualité.
   • Inconvénients : peut être moins expressive que la convolution standard.

4. Convolution dilatée (Dilated Convolution)

   • Utilise des filtres avec espaces (dilation), élargissant le champ de perception sans augmenter les paramètres.
   • Avantages : permet de capturer le contexte à grande échelle.
   • Inconvénients : peut conduire à une perception "troué" et à des artefacts.

5. Convolution transposée (Transposed Convolution ou deconvolution)

   • Utilisée pour augmenter la résolution spatiale (upsampling).
   • Avantages : permet d'entraîner des paramètres pour augmenter la taille.
   • Inconvénients : peut provoquer des artefacts (par exemple, motif en damier).

6. Convolution groupée (Grouped Convolution)

   • Les canaux d'entrée sont divisés en groupes, et la convolution est appliquée séparément à chaque groupe.
   • Avantages : réduit le nombre de paramètres et de calculs, permet de construire des réseaux plus profonds (par exemple, ResNeXt).
   • Inconvénients : limite l'interaction entre les groupes de canaux.

Chaque type de convolution est choisi en fonction de la tâche, des exigences de performance et de précision. Par exemple, les convolutions séparables et depthwise sont largement utilisées dans les systèmes mobiles et embarqués pour optimiser les ressources.