Welche Arten von Faltungen kennen Sie (Standard, depthwise, separable, dilated, transposed, grouped)? Ideen, Vor- und Nachteile jeder.

In Convolutional Neural Networks (CNNs) gibt es verschiedene Arten von Faltungen, die jeweils ihre eigenen Merkmale, Vor- und Nachteile haben:

1. Standardfaltung (Standard Convolution)

   • Wendet eine Reihe von Filtern gleichzeitig auf alle Eingabekanäle an.
   • Vorteile: einfach und vielseitig, gut erforscht.
   • Nachteile: hohe Rechenkomplexität und Parameterzahl.

2. Depthwise-Faltung (tiefenfokussierte Faltung)

   • Jeder Filter wird auf einen einzelnen Eingabekanal separat angewendet.
   • Vorteile: reduziert die Anzahl der Parameter und Berechnungen erheblich.
   • Nachteile: verbindet keine Informationen zwischen den Kanälen, daher wird sie oft zusammen mit Pointwise-Faltung verwendet.

3. Separable Faltung (separable convolution)

   • Besteht aus einer Depthwise-Faltung, gefolgt von einer Pointwise (1x1) Faltung.
   • Vorteile: effizient in Bezug auf Parameter und Berechnungen, erhält die Qualität.
   • Nachteile: kann weniger ausdrucksstark sein als die Standardfaltung.

4. Dilated Faltung (dehnungsfaltung)

   • Verwendet Filter mit Lücken (Dilation), um das Wahrnehmungsfeld zu vergrößern, ohne die Parameterzahl zu erhöhen.
   • Vorteile: ermöglicht die Erfassung von Kontexten in großem Maßstab.
   • Nachteile: kann zu "löchriger" Wahrnehmung und Artefakten führen.

5. Transposed Faltung (transponierte Faltung oder Deconvolution)

   • Wird verwendet, um die räumliche Auflösung zu erhöhen (Upsampling).
   • Vorteile: ermöglicht das Training von Parametern zur Größenerhöhung.
   • Nachteile: kann Artefakte verursachen (z.B. Checkerboard-Muster).

6. Gruppierte Faltung (grouped convolution)

   • Eingabekanäle werden in Gruppen aufgeteilt, und die Faltung wird separat auf jede Gruppe angewendet.
   • Vorteile: reduziert die Parameter- und Berechnungszahl, ermöglicht den Bau tieferer Netzwerke (z.B. ResNeXt).
   • Nachteile: begrenzt die Interaktion zwischen den Kanalgruppen.

Jede Art der Faltung wird je nach Aufgabe, Leistungs- und Genauigkeitsanforderungen ausgewählt. Zum Beispiel werden separable und depthwise Faltungen häufig in mobilen und eingebetteten Systemen zur Ressourcenoptimierung eingesetzt.