Какви видове свързвания знаете (стандартна, depthwise, separable, dilated, transposed, grouped)? Идеи, плюсове и минуси на всяка.

В конволюционните невронни мрежи (CNN) съществуват няколко вида конволюции, всяка със своите характеристики, предимства и недостатъци:

1. Стандартна конволюция (Standard Convolution)

   • Прилага набор от филтри към всички входни канали едновременно.
   • Предимства: проста и универсална, добре изследвана.
   • Недостатъци: висока изчислителна сложност и брой параметри.

2. Depthwise конволюция (дълбока конволюция)

   • Всеки филтър се прилага към един входен канал отделно.
   • Предимства: значително намалява броя на параметрите и изчисленията.
   • Недостатъци: не обединява информация между каналите, затова често се използва заедно с pointwise конволюция.

3. Separable конволюция (separable convolution)

   • Състои се от depthwise конволюция, последвана от pointwise (1x1) конволюция.
   • Предимства: ефективна по отношение на параметрите и изчисленията, запазва качеството.
   • Недостатъци: може да бъде по-малко изразителна от стандартната конволюция.

4. Dilated конволюция (разширена конволюция)

   • Използва филтри с пропуски (dilation), увеличавайки полето на възприятие без да увеличава броя на параметрите.
   • Предимства: позволява улавяне на контекст в голям мащаб.
   • Недостатъци: може да доведе до "дупки" във възприятието и артефакти.

5. Transposed конволюция (транспонирана конволюция или deconvolution)

   • Използва се за увеличаване на пространственото разрешение (upsampling).
   • Предимства: позволява обучение на параметри за увеличаване на размера.
   • Недостатъци: може да предизвика артефакти (например, шахматен модел).

6. Групирана конволюция (Grouped Convolution)

   • Входните канали се разделят на групи, и конволюцията се прилага отделно към всяка група.
   • Предимства: намалява броя на параметрите и изчисленията, позволява изграждане на по-дълбоки мрежи (например ResNeXt).
   • Недостатъци: ограничава взаимодействието между групите канали.

Всеки тип конволюция се избира в зависимост от задачата, изискванията към производителността и точността. Например, separable и depthwise конволюциите се използват широко в мобилни и вградени системи за оптимизация на ресурсите.