Cos'è uno strato di collo di bottiglia e a cosa serve?

Lo strato bottleneck è uno strato in una rete neurale, solitamente con un numero inferiore di neuroni rispetto agli strati precedenti e successivi. La sua principale funzione è comprimere le informazioni, evidenziare le caratteristiche più importanti e ridurre la dimensionalità dei dati.

Nel contesto delle reti neurali convoluzionali (CNN), gli strati bottleneck sono spesso usati per:

• Ridurre il carico computazionale diminuendo il numero di parametri.
• Migliorare la capacità di generalizzazione del modello, prevenendo l'overfitting.
• Evidenziare una rappresentazione compatta delle caratteristiche, utile per gli strati successivi.

Esempio: nell'architettura ResNet, gli strati bottleneck consistono in una sequenza di convoluzioni 1x1, 3x3 e di nuovo 1x1, dove le prime e ultime convoluzioni 1x1 riducono e poi ripristinano la dimensionalità delle caratteristiche, mentre lo strato 3x3 elabora la rappresentazione compressa.