Peut-on remplacer une convolution 3x3 par deux convolutions successives 3x1 et 1x3 ? Quels sont les gains et les pertes ?

Oui, une convolution 3x3 peut être remplacée par deux convolutions successives 3x1 et 1x3. Cette technique est souvent utilisée pour réduire le nombre de paramètres et la charge de calcul.

Avantages :

• Moins de paramètres : deux convolutions 3x1 et 1x3 ont en tout moins de poids qu'une 3x3.
• Moins de calculs : les opérations avec des noyaux plus petits sont plus simples et plus rapides.
• Architecture plus profonde : une couche supplémentaire de non-linéarité est ajoutée entre les deux convolutions, ce qui peut améliorer la capacité d'expression du modèle.

Inconvénients :

• Perception potentiellement moindre du contexte en une seule couche, car 3x3 couvre immédiatement 9 pixels, alors que 3x1 et 1x3 couvrent chacun 3 pixels.
• Risque de perte d'information si les couches ou activations ne sont pas bien configurées.

Exemple en PyTorch :

import torch.nn as nn

# Convolution originale 3x3
conv_3x3 = nn.Conv2d(in_channels=64, out_channels=128, kernel_size=3, padding=1)

# Remplacement par deux convolutions 3x1 et 1x3
conv_3x1 = nn.Conv2d(64, 128, kernel_size=(3,1), padding=(1,0))
conv_1x3 = nn.Conv2d(128, 128, kernel_size=(1,3), padding=(0,1))

# Application séquentielle de conv_3x1 et conv_1x3 équivaut à conv_3x3 avec moins de paramètres