Was ist depthwise separable convolution und wo wird sie angewendet (MobileNet)?

Depthwise separable convolution — это вид свёртки, который разбивает обычную свёртку на две отдельные операции:

1. Depthwise convolution — применяется отдельный фильтр к каждому входному каналу (глубине) по отдельности.
2. Pointwise convolution — свёртка с ядром 1x1, которая объединяет результаты из depthwise слоя, создавая новые признаки.

Такой подход значительно снижает количество параметров и вычислительную сложность по сравнению с обычной свёрткой, сохраняя при этом качество модели.

В MobileNet depthwise separable convolution используется для построения лёгких и эффективных моделей, которые подходят для мобильных и встроенных устройств с ограниченными ресурсами.

Пример: если обычная свёртка с ядром 3x3 и N входными и M выходными каналами требует 33NM параметров, то depthwise separable convolution требует 33N (depthwise) + 11NM (pointwise), что значительно меньше.