Какво е bottleneck слой и за какво се използва?

Bottleneck слой е слой в невронна мрежа, обикновено с по-малък брой неврони в сравнение с предишните и следващите слоеве. Основната му задача е да компресира информацията, да подчертае най-важните характеристики и да намали размерността на данните.

В контекста на конволюционните невронни мрежи (CNN), bottleneck слоевете често се използват за:

• Намаляване на изчислителната натовареност чрез намаляване на броя на параметрите.
• Подобряване на способността на модела да обобщава, като предотвратява пренасищане.
• Подчертаване на компактно представяне на характеристиките, което е полезно за следващите слоеве.

Пример: в архитектурата ResNet, bottleneck слоевете се състоят от последователност от 1x1, 3x3 и отново 1x1 свързвания, където първите и последните 1x1 свързвания намаляват и след това възстановяват размерността на характеристиките, докато 3x3 слой обработва компресираната репрезентация.