Чем MobileNet v2 отличается от v1 (inverted residuals)?

MobileNet v2 отличается от v1 главным образом введением концепции "inverted residuals" с "linear bottlenecks".

В MobileNet v1 использовались обычные остаточные связи и глубинные свёртки (depthwise separable convolutions), что уже снижало вычислительную сложность. В MobileNet v2 архитектура построена так, что:

• Основной блок — это "inverted residual block": сначала происходит расширение числа каналов с помощью 1x1 свёртки (pointwise convolution), затем глубинная свёртка, и в конце сжатие обратно к меньшему числу каналов.
• Остаточные связи применяются не к расширенному пространству признаков, а к сжатому (узкому) пространству, что уменьшает количество параметров и повышает эффективность.
• Используется линейный bottleneck (последний слой блока не имеет активации ReLU), чтобы избежать потери информации при сжатии признаков.

Это позволяет MobileNet v2 быть более эффективной и точной при тех же или меньших вычислительных ресурсах по сравнению с v1.

Пример структуры блока MobileNet v2 (упрощённо):

# Pseudocode
input -> 1x1 conv (expansion, ReLU6) -> depthwise conv (ReLU6) -> 1x1 conv (projection, linear) -> add residual (если размеры совпадают)