Какие виды свёрток вы знаете (стандартная, depthwise, separable, dilated, transposed, grouped)? Идеи, плюсы и минусы каждой.

В свёрточных нейронных сетях (CNN) существует несколько видов свёрток, каждая из которых имеет свои особенности, плюсы и минусы:

1. Стандартная свёртка (Standard Convolution)

   • Применяет набор фильтров ко всем входным каналам одновременно.
   • Плюсы: простая и универсальная, хорошо изучена.
   • Минусы: высокая вычислительная сложность и количество параметров.

2. Depthwise Convolution (глубинная свёртка)

   • Каждый фильтр применяется к одному входному каналу отдельно.
   • Плюсы: значительно снижает количество параметров и вычислений.
   • Минусы: не объединяет информацию между каналами, поэтому часто используется вместе с pointwise свёрткой.

3. Separable Convolution (разделяемая свёртка)

   • Состоит из depthwise свёртки, за которой следует pointwise (1x1) свёртка.
   • Плюсы: эффективна по параметрам и вычислениям, сохраняет качество.
   • Минусы: может быть менее выразительной, чем стандартная свёртка.

4. Dilated Convolution (расширенная свёртка)

   • Использует фильтры с пропусками (dilation), увеличивая поле восприятия без увеличения параметров.
   • Плюсы: позволяет захватывать контекст на больших масштабах.
   • Минусы: может привести к «дырявому» восприятию и артефактам.

5. Transposed Convolution (транспонированная свёртка, или deconvolution)

   • Используется для увеличения пространственного разрешения (upsampling).
   • Плюсы: позволяет обучать параметры для увеличения размера.
   • Минусы: может вызывать артефакты (например, checkerboard).

6. Grouped Convolution (группированная свёртка)

   • Входные каналы разбиваются на группы, свёртка применяется отдельно к каждой группе.
   • Плюсы: уменьшает количество параметров и вычислений, позволяет строить более глубокие сети (например, ResNeXt).
   • Минусы: ограничивает взаимодействие между группами каналов.

Каждый вид свёртки выбирается в зависимости от задачи, требований к производительности и точности. Например, separable и depthwise свёртки широко используются в мобильных и встраиваемых системах для оптимизации ресурсов.