Kas yra bottleneck sluoksnis ir kam jis naudojamas?

Bottleneck sluoksnis yra sluoksnis neuronų tinkle, paprastai turintis mažesnį neuronų skaičių nei ankstesni ir vėlesni sluoksniai. Jo pagrindinė užduotis yra suspausti informaciją, išryškinti svarbiausias savybes ir sumažinti duomenų dimensiją.

Konvoliucinėse neuroninėse tinkluose (CNN) bottleneck sluoksniai dažnai naudojami siekiant:

• Sumažinti skaičiavimų apkrovą sumažinant parametrų skaičių.
• Pagerinti modelio bendrąją gebėjimą ir išvengti permokymo.
• Išryškinti kompaktišką savybių reprezentaciją, kas naudinga vėlesniems sluoksniams.

Pavyzdys: ResNet architektūroje bottleneck sluoksniai susideda iš eilės 1x1, 3x3 ir vėl 1x1 konvoliucijų, kur pirmos ir paskutinės 1x1 konvoliucijos sumažina ir vėl atkuria savybių dydį, o 3x3 sluoksnis apdoroja suspaustą reprezentaciją.