Je možné nahradiť konvolúciu 3x3 dvomi po sebe nasledujúcimi 3x1 a 1x3? Aké sú výhody a straty?

Áno, konvolúcia 3x3 môže byť nahradená dvomi po sebe nasledujúcimi konvolúciami 3x1 a 1x3. Táto metóda sa často používa na zníženie počtu parametrov a výpočtovej záťaže.

Výhody:

• Menej parametrov: dve konvolúcie 3x1 a 1x3 majú celkovo menej váh ako jedna 3x3.
• Menej výpočtov: operácie s menšími jadrami sú jednoduchšie a rýchlejšie.
• Hlbšia architektúra: medzi dvomi konvolúciami sa pridáva ďalší vrstvy nelinearity, čo môže zlepšiť výkonnosť modelu.

Nevýhody:

• Potenciálne menšie vnímanie kontextu v jednej vrstve, pretože 3x3 pokrýva okamžite 9 pixelov, zatiaľ čo 3x1 a 1x3 pokrývajú každý 3 pixely.
• Možná strata informácií, ak vrstvy alebo aktivácie nie sú správne nastavené.

Príklad v PyTorch:

import torch.nn as nn

# Pôvodná 3x3 konvolúcia
conv_3x3 = nn.Conv2d(in_channels=64, out_channels=128, kernel_size=3, padding=1)

# Nahradenie dvomi konvolúciami 3x1 a 1x3
conv_3x1 = nn.Conv2d(64, 128, kernel_size=(3,1), padding=(1,0))
conv_1x3 = nn.Conv2d(128, 128, kernel_size=(1,3), padding=(0,1))

# Sekvenčné použitie conv_3x1 a conv_1x3 je ekvivalentné s menším počtom parametrov ako conv_3x3