Може ли заменити 3x3 конволуцију са две узастопне 3x1 и 1x3? Које су добити и губици?

Da, konvolucija 3x3 može biti zamenjena sa dve uzastopne konvolucije 3x1 i 1x3. Ova metoda se često koristi za smanjenje broja parametara i računarskog opterećenja.

Prednosti:

• Manje parametara: dve konvolucije 3x1 i 1x3 imaju ukupno manje težine od jedne 3x3.
• Manje računanja: operacije sa manjim jezgrima su jednostavnije i brže.
• Dublja arhitektura: između dve konvolucije se dodaje dodatni sloj nelinearnosti, što može poboljšati izražajnu moć modela.

Nedostaci:

• Potencijalno manja percepcija konteksta u jednom sloju, jer 3x3 pokriva odmah 9 piksela, dok 3x1 i 1x3 pokrivaju po 3 piksela.
• Moguće gubljenje informacija ako slojevi ili aktivacije nisu pravilno podešeni.

Primer u PyTorch-u:

import torch.nn as nn

# Originalna 3x3 konvolucija
conv_3x3 = nn.Conv2d(in_channels=64, out_channels=128, kernel_size=3, padding=1)

# Zameniti sa dve konvolucije 3x1 i 1x3
conv_3x1 = nn.Conv2d(64, 128, kernel_size=(3,1), padding=(1,0))
conv_1x3 = nn.Conv2d(128, 128, kernel_size=(1,3), padding=(0,1))

# Sekvencijalna primena conv_3x1 i conv_1x3 je ekvivalentna conv_3x3 sa manje parametara