Šta je bottleneck sloj i čemu služi?

Bottleneck sloj je sloj u neuronskoj mreži, obično s manjim brojem neurona u usporedbi s prethodnim i sljedećim slojevima. Njegov glavni zadatak je stisnuti informacije, istaknuti najvažnije značajke i smanjiti dimenzionalnost podataka.

U kontekstu konvolucijskih neuronskih mreža (CNN), slojevi bottleneck često se koriste za:

• Smanjenje računalnog opterećenja smanjenjem broja parametara.
• Poboljšanje sposobnosti modela za generalizaciju, sprječavajući prekomjerno učenje.
• Isticanje kompaktne reprezentacije značajki, što je korisno za sljedeće slojeve.

Primjer: u arhitekturi ResNet, slojevi bottleneck sastoje se od niza konvolucija 1x1, 3x3 i ponovno 1x1, gdje prve i zadnje 1x1 konvolucije smanjuju i zatim obnavljaju dimenzije značajki, dok 3x3 sloj obrađuje komprimiranu reprezentaciju.