Co je to bottleneck vrstva a k čemu se používá?

Vrstva bottleneck je vrstva v neuronové síti, obvykle s menším počtem neuronů ve srovnání s předchozími a následujícími vrstvami. Jejím hlavním úkolem je stlačit informace, zvýraznit nejdůležitější znaky a snížit rozměr dat.

V kontextu konvolučních neuronových sítí (CNN) se vrstvy bottleneck často používají k:

• Snížení výpočetní zátěže snížením počtu parametrů.
• Zlepšení schopnosti modelu generalizovat, předcházení přeučení.
• Vyzdvihnutí kompaktní reprezentace znaků, což je užitečné pro následující vrstvy.

Příklad: v architektuře ResNet vrstvy bottleneck sestávají z posloupnosti konvolucí 1x1, 3x3 a znovu 1x1, kde první a poslední 1x1 konvoluce snižují a poté obnovují rozměr znaků, zatímco 3x3 vrstva zpracovává komprimovanou reprezentaci.