Czy można zastąpić konwolucję 3x3 dwoma kolejno wykonywanymi konwolucjami 3x1 i 1x3? Jakie są zyski i straty?

Tak, konwolucja 3x3 może zostać zastąpiona dwoma kolejno wykonywanymi konwolucjami 3x1 i 1x3. Ta technika jest często stosowana w celu zmniejszenia liczby parametrów i obciążenia obliczeniowego.

Zalety:

• Mniej parametrów: dwie konwolucje 3x1 i 1x3 mają łącznie mniej wag niż jedna 3x3.
• Mniej obliczeń: operacje z mniejszymi kernelami są prostsze i szybsze.
• Bardziej głęboka architektura: dodaje się dodatkową warstwę nieliniowości między dwoma konwolucjami, co może poprawić wyrazistość modelu.

Wady:

• Potencjalnie mniejsza percepcja kontekstu w jednej warstwie, ponieważ 3x3 obejmuje od razu 9 pikseli, podczas gdy 3x1 i 1x3 po 3 piksele każda.
• Możliwa utrata informacji, jeśli warstwy lub aktywacje nie są poprawnie skonfigurowane.

Przykład w PyTorch:

import torch.nn as nn

# Oryginalna konwolucja 3x3
conv_3x3 = nn.Conv2d(in_channels=64, out_channels=128, kernel_size=3, padding=1)

# Zastąpienie dwoma konwolucjami 3x1 i 1x3
conv_3x1 = nn.Conv2d(64, 128, kernel_size=(3,1), padding=(1,0))
conv_1x3 = nn.Conv2d(128, 128, kernel_size=(1,3), padding=(0,1))

# Sekwencyjne zastosowanie conv_3x1 i conv_1x3 jest równoważne konwolucji 3x3 z mniejszą liczbą parametrów