Perché si utilizza la convoluzione con kernel 1x1 nelle reti neurali?

La convoluzione 1x1 nelle reti neurali viene utilizzata per diversi scopi:

• Modifica del numero di canali (profondità): La convoluzione 1x1 permette di ridurre o aumentare efficacemente il numero di canali senza influenzare le dimensioni spaziali dell'immagine.
• Introduzione di non linearità e miscelazione dei canali: dopo la convoluzione 1x1, di solito si applica un'activation, che aiuta il modello a imparare rappresentazioni più complesse.
• Ottimizzazione dei calcoli: le convoluzioni 1x1 sono spesso usate in architetture come ResNet o Inception per ridurre il carico computazionale, sostituendo convoluzioni più pesanti.

Esempio: se hai un tensore di dimensioni 28x28x256, applicare una convoluzione 1x1 con 64 filtri darà un'uscita di 28x28x64, riducendo efficacemente la dimensionalità delle caratteristiche.

Pertanto, la convoluzione 1x1 è uno strumento per gestire la dimensionalità e aumentare l'espressività del modello senza modificare le caratteristiche spaziali dei dati.