Какво е 1x1 свързване и за какво се използва?

Конволюцията 1x1 е операция на конволюция с ядро с размер 1 по 1 пиксел. Тя се използва в конволюционните невронни мрежи за промяна на броя на каналите (дълбочината) на входния тензор без да се променят пространствените размери (ширина и височина).

Основни приложения на 1x1 конволюция:

• Намаляване или увеличаване на размерността на каналите, което помага за намаляване на броя на параметрите и изчислителната натовареност.
• Въвеждане на нелинейности между слоевете чрез функции за активиране след 1x1 конволюцията.
• Смесване на информация между каналите, подобрявайки представянето на характеристиките.

Пример в PyTorch:

import torch
import torch.nn as nn

conv1x1 = nn.Conv2d(in_channels=64, out_channels=128, kernel_size=1)
input_tensor = torch.randn(1, 64, 32, 32)  # партида=1, 64 канала, 32x32
output = conv1x1(input_tensor)
print(output.shape)  # torch.Size([1, 128, 32, 32])