Aké typy konvolúcií poznáte (štandardná, depthwise, separable, dilated, transposed, grouped)? Nápady, výhody a nevýhody každej.

V konvolučných neurónových sieťach (CNN) existuje niekoľko typov konvolúcií, z ktorých každá má svoje vlastnosti, výhody a nevýhody:

1. Štandardná konvolúcia (Standard Convolution)

   • Aplikuje súbor filtrov na všetky vstupné kanály súčasne.
   • Výhody: jednoduchá a univerzálna, dobre preskúmaná.
   • Nevýhody: vysoká výpočtová zložitosť a počet parametrov.

2. Depthwise konvolúcia (hlboká konvolúcia)

   • Každý filter sa aplikuje na jeden vstupný kanál samostatne.
   • Výhody: výrazne znižuje počet parametrov a výpočtov.
   • Nevýhody: neintegruje informácie medzi kanálmi, preto sa často používa spolu s pointwise konvolúciou.

3. Separable konvolúcia (separabilná konvolúcia)

   • Skladá sa z depthwise konvolúcie, nasledovanej pointwise (1x1) konvolúciou.
   • Výhody: efektívna z hľadiska parametrov a výpočtov, zachováva kvalitu.
   • Nevýhody: môže byť menej výstižná ako štandardná konvolúcia.

4. Dilated konvolúcia (rozšírená konvolúcia)

   • Používa filtre s medzerami (dilation), rozširujúc pole vnímania bez zvýšenia počtu parametrov.
   • Výhody: umožňuje zachytiť kontext na veľkej škále.
   • Nevýhody: môže viesť k "dierovanému" vnímaniu a artefaktom.

5. Transposed konvolúcia (transponovaná konvolúcia alebo deconvolution)

   • Používa sa na zvýšenie priestorového rozlíšenia (upsampling).
   • Výhody: umožňuje trénovať parametre na zväčšenie veľkosti.
   • Nevýhody: môže spôsobovať artefakty (napríklad šachovnicový vzor).

6. Skupinová konvolúcia (Grouped Convolution)

   • Vstupné kanály sú rozdelené do skupín, a konvolúcia sa aplikuje samostatne na každú skupinu.
   • Výhody: znižuje počet parametrov a výpočtov, umožňuje budovať hlbšie siete (napríklad ResNeXt).
   • Nevýhody: obmedzuje interakciu medzi skupinami kanálov.

Každý typ konvolúcie je vyberaný podľa úlohy, požiadaviek na výkon a presnosť. Napríklad, separable a depthwise konvolúcie sú široko používané v mobilných a embedded systémoch na optimalizáciu zdrojov.