3x3 konvolusiyanı iki ardıcıl 3x1 və 1x3 konvolusiyası ilə əvəz etmək mümkündürmü? Nə qazanılır və itirilir?

Bəli, 3x3 konvolusiyanı iki ardıcıl 3x1 və 1x3 konvolusiyası ilə əvəz etmək mümkündür. Bu üsul tez-tez parametr sayını və hesablama yükünü azaltmaq üçün istifadə olunur.

Üstünlüklər:

• Daha az parametr: iki 3x1 və 1x3 konvolusiyası ümumilikdə 3x3-dən daha az çəkisi olan parametrlərə malikdir.
• Daha az hesablama: kiçik nüvələrlə əməliyyatlar daha sadə və daha sürətlidir.
• Daha dərin arxitektura: iki konvolusiyanın arasında əlavə qeyri-xətti qat əlavə edilir, bu da modelin ifadə gücünü artırmağa kömək edə bilər.

Çatışmazlıqlar:

• Bir qatdakı kontekstin qavranması potensial olaraq daha az ola bilər, çünki 3x3 dərhal 9 pikseli əhatə edir, 3x1 və 1x3 isə hər biri 3 pikseldən ibarətdir.
• Əgər qatlar və ya aktivləşmələr düzgün tənzimlənməzsə, məlumat itkisi ola bilər.

PyTorch nümunəsi:

import torch.nn as nn

# Orijinal 3x3 konvolusiya
conv_3x3 = nn.Conv2d(in_channels=64, out_channels=128, kernel_size=3, padding=1)

# 3x1 və 1x3 konvolusiyaları ilə əvəz etmək
conv_3x1 = nn.Conv2d(64, 128, kernel_size=(3,1), padding=(1,0))
conv_1x3 = nn.Conv2d(128, 128, kernel_size=(1,3), padding=(0,1))

# ardıcıl tətbiq, az parametrli 3x3-ə bərabərdir