Qu'est-ce qu'une couche de goulot d'étranglement et à quoi sert-elle?

La couche bottleneck est une couche dans un réseau neuronal, généralement avec un nombre inférieur de neurones par rapport aux couches précédentes et suivantes. Sa tâche principale est de compresser l’information, de mettre en évidence les caractéristiques les plus importantes et de réduire la dimensionnalité des données.

Dans le contexte des réseaux neuronaux convolutifs (CNN), les couches bottleneck sont souvent utilisées pour:

• Réduire la charge de calcul en diminuant le nombre de paramètres.
• Améliorer la capacité de généralisation du modèle, en évitant le surapprentissage.
• Mettre en évidence une représentation compacte des caractéristiques, ce qui est utile pour les couches suivantes.

Exemple : dans l’architecture ResNet, les couches bottleneck consistent en une séquence de convolutions 1x1, 3x3 et à nouveau 1x1, où les premières et dernières convolutions 1x1 réduisent puis restaurent la dimensionnalité des caractéristiques, tandis que la couche 3x3 traite la représentation comprimée.