Зачем в нейронных сетях используется свертка с ядром 1x1?

Свертка с ядром 1x1 в нейронных сетях используется для нескольких целей:

• Изменение числа каналов (глубины): 1x1 свертка позволяет эффективно уменьшать или увеличивать количество каналов, не влияя на пространственные размеры изображения.
• Введение нелинейности и смешивание каналов: после 1x1 свертки обычно применяется активация, что помогает модели учить более сложные представления.
• Оптимизация вычислений: 1x1 свертки часто используются в архитектурах типа ResNet или Inception для снижения вычислительной нагрузки, заменяя более тяжелые свертки.

Пример: если у вас есть тензор размером 28x28x256, применение 1x1 свертки с 64 фильтрами даст выход 28x28x64, эффективно сокращая размерность признаков.

Таким образом, 1x1 свертка — это инструмент для управления размерностью и повышения выразительности модели без изменения пространственных характеристик данных.