Ar galima pakeisti 3x3 konvoliuciją dviem iš eilės einančiomis 3x1 ir 1x3 konvoliucijomis? Kokie yra pranašumai ir trūkumai?

Taip, 3x3 konvoliuciją galima pakeisti dviem nuosekliai einančiomis 3x1 ir 1x3 konvoliucijomis. Šis metodas dažnai naudojamas sumažinti parametrų skaičių ir skaičiavimo apkrovą.

Privalumai:

• Mažiau parametrų: dvi 3x1 ir 1x3 konvoliucijos turi iš viso mažiau svorių nei viena 3x3.
• Mažiau skaičiavimų: operacijos su mažesniais branduoliais yra paprastesnės ir greitesnės.
• Gilesnė architektūra: tarp dviejų konvoliucijų pridedamas papildomas nelinearumo sluoksnis, kuris gali pagerinti modelio išraiškos galimybes.

Trūkumai:

• Galimai mažesnis konteksto suvokimas viename sluoksnyje, nes 3x3 apima iš karto 9 pikselius, o 3x1 ir 1x3 po 3 pikselius.
• Gali būti informacijos praradimas, jei sluoksniai ar aktyvacijos nėra tinkamai sureguliuoti.

Pavyzdys PyTorch:

import torch.nn as nn

# Originali 3x3 konvoliucija
conv_3x3 = nn.Conv2d(in_channels=64, out_channels=128, kernel_size=3, padding=1)

# Pakeisti dviem 3x1 ir 1x3 konvoliucijomis
conv_3x1 = nn.Conv2d(64, 128, kernel_size=(3,1), padding=(1,0))
conv_1x3 = nn.Conv2d(128, 128, kernel_size=(1,3), padding=(0,1))

# Sekvencinė conv_3x1 ir conv_1x3 taikymas yra lygiavertis su mažesniu parametrų skaičiumi nei conv_3x3