Կարո՞ղ է փոխարինել 3x3 կոնվոլյուցիան երկու հաջորդական 3x1 և 1x3 կոնվոլյուցիաներով: Ի՞նչ են շահույթներն ու կորուստները:

Այո, 3x3 կոնվոլյուցիան կարող է փոխարինվել երկու հերթական 3x1 և 1x3 կոնվոլյուցիաներով: Այս մեթոդը հաճախ օգտագործվում է պարամետրերի քանակը և հաշվարկային բեռը նվազեցնելու համար:

Առավելություններ:

• Փոքր պարամետրեր՝ երկու 3x1 և 1x3 կոնվոլյուցիաները ընդհանուր առմամբ ունեն ավելի քիչ քաշեր, քան մեկ 3x3:
• Փոքր հաշվարկներ՝ փոքր միջուկներով գործողությունները ավելի պարզ և արագ են:
• Ավելի խորը ճարտարապետություն՝ երկու կոնվոլյուցիաների միջև ավելացվում է լրացուցիչ ոչ գծային շերտ, ինչը կարող է բարելավել մոդելի արտահայտչականությունը:

Կորուստներ:

• Հնարավոր է, որ մեկ շերտում համատեքստի ընկալումը ավելի քիչ լինի, քանի որ 3x3-ը անմիջապես ընդգրկում է 9 պիքսել, մինչդեռ 3x1 և 1x3-ը՝ ըստ 3 պիքսել:
• Միջնորդային տեղեկատվության կորուստ, եթե շերտերը կամ ակտիվացումները սխալ են կարգավորվում:

Օրինակ PyTorch-ում:

import torch.nn as nn

# Ասլի 3x3 կոնվոլյուցիա
conv_3x3 = nn.Conv2d(in_channels=64, out_channels=128, kernel_size=3, padding=1)

# Փոխարինում երկու 3x1 և 1x3 կոնվոլյուցիաներով
conv_3x1 = nn.Conv2d(64, 128, kernel_size=(3,1), padding=(1,0))
conv_1x3 = nn.Conv2d(128, 128, kernel_size=(1,3), padding=(0,1))

# Շարքային կիրառումը՝ conv_3x1 և conv_1x3 համարժեք է՝ con_3x3-ով՝ ավելի քիչ պարամետրերով