Welke soorten convoluties ken je (standaard, depthwise, separable, dilated, transposed, grouped)? Ideeën, voor- en nadelen van elk.

In convolutionele neurale netwerken (CNN's) zijn er verschillende soorten convoluties, elk met hun eigen kenmerken, voordelen en nadelen:

1. Standaard convolutie (Standard Convolution)

   • Past een reeks filters toe op alle invoerkanalen tegelijk.
   • Voordelen: eenvoudig en veelzijdig, goed bestudeerd.
   • Nadelen: hoge computationele complexiteit en aantal parameters.

2. Depthwise convolutie (diepe convolutie)

   • Elke filter wordt afzonderlijk toegepast op één invoerkanaal.
   • Voordelen: vermindert aanzienlijk het aantal parameters en berekeningen.
   • Nadelen: combineert geen informatie tussen kanalen, daarom wordt het vaak samen met pointwise convolutie gebruikt.

3. Separable convolutie (scheidbare convolutie)

   • Bestaat uit een depthwise convolutie gevolgd door een pointwise (1x1) convolutie.
   • Voordelen: efficiënt qua parameters en berekeningen, behoudt de kwaliteit.
   • Nadelen: kan minder expressief zijn dan standaard convolutie.

4. Dilated convolutie (verruimde convolutie)

   • Gebruikt filters met gaten (dilation), waardoor het perceptieveld wordt vergroot zonder het aantal parameters te verhogen.
   • Voordelen: maakt het mogelijk om context op grote schaal te vangen.
   • Nadelen: kan leiden tot "geperforeerde" perceptie en artefacten.

5. Transposed convolutie (omgekeerde convolutie of deconvolutie)

   • Wordt gebruikt om de ruimtelijke resolutie te verhogen (upsampling).
   • Voordelen: maakt het mogelijk om parameters te trainen om de grootte te vergroten.
   • Nadelen: kan artefacten veroorzaken (bijvoorbeeld, schaakbordpatroon).

6. Gegroepeerde convolutie (Grouped Convolution)

   • Invoerkanelen worden verdeeld in groepen, en de convolutie wordt apart op elke groep toegepast.
   • Voordelen: vermindert het aantal parameters en berekeningen, maakt het mogelijk om diepere netwerken te bouwen (bijvoorbeeld ResNeXt).
   • Nadelen: beperkt de interactie tussen kanaalgroepen.

Elk type convolutie wordt gekozen afhankelijk van de taak, prestatie-eisen en nauwkeurigheid. Bijvoorbeeld, separable en depthwise convoluties worden veel gebruikt in mobiele en embedded systemen om bronnen te optimaliseren.