Jakie rodzaje konwolucji znasz (standardowa, depthwise, separable, dilated, transposed, grouped)? Pomysły, plusy i minusy każdej z nich.

W sieciach neuronowych konwolucyjnych (CNN) istnieje kilka rodzajów konwolucji, z których każda ma swoje cechy, zalety i wady:

1. Standardowa konwolucja (Standard Convolution)

   • Zastosowuje zestaw filtrów do wszystkich kanałów wejściowych jednocześnie.
   • Zalety: prosta i uniwersalna, dobrze zbadana.
   • Wady: wysoka złożoność obliczeniowa i liczba parametrów.

2. Depthwise Convolution (konwolucja głęboka)

   • Każdy filtr jest stosowany do pojedynczego kanału wejściowego osobno.
   • Zalety: znacznie zmniejsza liczbę parametrów i obliczeń.
   • Wady: nie łączy informacji między kanałami, dlatego często jest używana razem z konwolucją pointwise.

3. Separable Convolution (konwolucja rozdzielona)

   • Składa się z depthwise konwolucji, po której następuje konwolucja pointwise (1x1).
   • Zalety: efektywna pod względem parametrów i obliczeń, zachowuje jakość.
   • Wady: może być mniej wyrazista niż standardowa konwolucja.

4. Dilated Convolution (konwolucja rozcieńczona)

   • Używa filtrów z przerwami (dilation), zwiększając pole percepcji bez zwiększania liczby parametrów.
   • Zalety: pozwala na wychwytywanie kontekstu na dużą skalę.
   • Wady: może prowadzić do "dziurawych" percepcji i artefaktów.

5. Transposed Convolution (konwolucja transponowana lub dekonwolucja)

   • Używana do zwiększania rozdzielczości przestrzennej (upsampling).
   • Zalety: pozwala na trenowanie parametrów do zwiększania rozmiaru.
   • Wady: może powodować artefakty (np. wzór szachownicy).

6. Grouped Convolution (konwolucja grupowa)

   • Kanały wejściowe dzielone są na grupy, a konwolucja jest stosowana osobno do każdej grupy.
   • Zalety: zmniejsza liczbę parametrów i obliczeń, pozwala na budowę głębszych sieci (np. ResNeXt).
   • Wady: ogranicza interakcję między grupami kanałów.

Każdy rodzaj konwolucji jest wybierany w zależności od zadania, wymagań dotyczących wydajności i precyzji. Na przykład, separable i depthwise konwolucje są szeroko stosowane w systemach mobilnych i wbudowanych w celu optymalizacji zasobów.