Čo je to bottleneck vrstva a na čo sa používa?

Vrstva bottleneck je vrstva v neurónovej sieti, zvyčajne s menším počtom neurónov v porovnaní s predchádzajúcimi a nasledujúcimi vrstvami. Jejím hlavným úlohou je stlačiť informácie, zvýrazniť najdôležitejšie znaky a znížiť rozmernosť dát.

V kontexte konvolučných neurónových sietí (CNN) sa vrstvy bottleneck často používajú na:

• Zníženie výpočtovej záťaže znížením počtu parametrov.
• Zlepšenie schopnosti modelu generalizovať, predchádzanie preučeniu.
• Zvýraznenie kompaktného zobrazenia znakov, čo je užitočné pre nasledujúce vrstvy.

Príklad: v architektúre ResNet vrstvy bottleneck pozostávajú z posloupnosti konvolúcií 1x1, 3x3 a opäť 1x1, kde prvé a posledné 1x1 konvolúcie znižujú a následne obnovujú veľkosť znakov, zatiaľ čo vrstva 3x3 spracováva komprimované zobrazenie.