Mi az a bottleneck réteg és mire használják?

A bottleneck réteg egy réteg egy neurális hálózatban, általában kevesebb neuronral, mint a korábbi és későbbi rétegek. Fő feladata az információ tömörítése, a legfontosabb jellemzők kiemelése és az adatok dimenziójának csökkentése.

A konvolúciós neurális hálózatok (CNN) kontextusában a bottleneck réteket gyakran használják:

• A számítási terhelés csökkentése a paraméterek számának csökkentésével.
• A modell általánosító képességének javítása, túlillesztés megelőzése érdekében.
• Kompakt jellemzők reprezentációjának kiemelése, ami hasznos a következő rétegek számára.

Példa: a ResNet architektúrában a bottleneck rétegek 1x1, 3x3 és ismét 1x1 konvolúciókból állnak, ahol az első és utolsó 1x1 konvolúciók csökkentik, majd helyreállítják a jellemzők méretét, míg a 3x3 réteg a tömörített reprezentációt dolgozza fel.