¿Se puede reemplazar una convolución 3x3 por dos convoluciones consecutivas 3x1 y 1x3? ¿Cuál es la ventaja y la pérdida?

Sí, una convolución 3x3 puede ser reemplazada por dos convoluciones secuenciales 3x1 y 1x3. Este método se usa a menudo para reducir la cantidad de parámetros y la carga computacional.

Ventajas:

• Menos parámetros: dos convoluciones 3x1 y 1x3 tienen en conjunto menos pesos que una 3x3.
• Menos cálculos: las operaciones con kernels más pequeños son más simples y rápidas.
• Arquitectura más profunda: se añade una capa adicional de no linealidad entre las dos convoluciones, lo que puede mejorar la expresividad del modelo.

Desventajas:

• Potencialmente menor percepción del contexto en una sola capa, ya que 3x3 cubre 9 píxeles, mientras que 3x1 y 1x3 cubren 3 píxeles cada una.
• Posible pérdida de información si no se ajustan correctamente las capas o las activaciones.

Ejemplo en PyTorch:

import torch.nn as nn

# Convolución original 3x3
conv_3x3 = nn.Conv2d(in_channels=64, out_channels=128, kernel_size=3, padding=1)

# Reemplazo por dos convoluciones 3x1 y 1x3
conv_3x1 = nn.Conv2d(64, 128, kernel_size=(3,1), padding=(1,0))
conv_1x3 = nn.Conv2d(128, 128, kernel_size=(1,3), padding=(0,1))

# Aplicación secuencial de conv_3x1 y conv_1x3 es equivalente a conv_3x3 con menos parámetros