Wat is een bottleneck-laag en waar wordt deze voor gebruikt?

Bottleneck-laag is een laag in een neuraal netwerk, meestal met een kleiner aantal neuronen in vergelijking met de vorige en volgende lagen. De belangrijkste taak is het comprimeren van informatie, het benadrukken van de belangrijkste kenmerken en het verminderen van de dimensionaliteit van de gegevens.

In de context van convolutionele neurale netwerken (CNN) worden bottleneck-lagen vaak gebruikt voor:

• Het verminderen van de computationele belasting door het aantal parameters te verminderen.
• Het verbeteren van de generalisatiecapaciteit van het model, door overfitting te voorkomen.
• Het benadrukken van een compacte representatie van kenmerken, wat nuttig is voor de volgende lagen.

Voorbeeld: in de ResNet-architectuur bestaan bottleneck-lagen uit een reeks van 1x1, 3x3 en opnieuw 1x1 convoluties, waarbij de eerste en laatste 1x1 convoluties de kenmerken verminderen en vervolgens herstellen, terwijl de 3x3 laag de gecomprimeerde representatie verwerkt.