Lze nahradit konvoluci 3x3 dvěma po sobě jdoucími konvolucemi 3x1 a 1x3? Jaké jsou výhody a ztráty?

Ano, konvoluce 3x3 lze nahradit dvěma po sobě jdoucími konvolucemi 3x1 a 1x3. Tato metoda se často používá ke snížení počtu parametrů a výpočetní zátěže.

Výhody:

• Méně parametrů: dvě konvoluce 3x1 a 1x3 mají celkově méně vah než jedna 3x3.
• Méně výpočtů: operace s menšími jádry jsou jednodušší a rychlejší.
• Hloubější architektura: mezi dvěma konvolucemi se přidává další vrstva nelinearity, což může zlepšit výkonnost modelu.

Nevýhody:

• Potenciálně menší vnímání kontextu v jedné vrstvě, protože 3x3 pokrývá přímo 9 pixelů, zatímco 3x1 a 1x3 pokrývají každý 3 pixely.
• Možná ztráta informací, pokud vrstvy nebo aktivace nejsou správně nastaveny.

Příklad v PyTorch:

import torch.nn as nn

# Původní konvoluce 3x3
conv_3x3 = nn.Conv2d(in_channels=64, out_channels=128, kernel_size=3, padding=1)

# Nahrazení dvěma konvolucemi 3x1 a 1x3
conv_3x1 = nn.Conv2d(64, 128, kernel_size=(3,1), padding=(1,0))
conv_1x3 = nn.Conv2d(128, 128, kernel_size=(1,3), padding=(0,1))

# Sekvenční použití conv_3x1 a conv_1x3 je ekvivalentní conv_3x3 s méně parametry