Что такое bottleneck-слой и для чего он используется?

Bottleneck-слой — это слой в нейронной сети, обычно с меньшим числом нейронов по сравнению с предыдущими и последующими слоями. Его основная задача — сжать информацию, выделить наиболее важные признаки и уменьшить размерность данных.

В контексте сверточных нейронных сетей (CNN) bottleneck-слои часто используются для:

• Снижения вычислительной нагрузки за счет уменьшения числа параметров.
• Улучшения обобщающей способности модели, предотвращая переобучение.
• Выделения компактного представления признаков, что полезно для последующих слоев.

Пример: в архитектуре ResNet bottleneck-слои состоят из последовательности 1x1, 3x3 и снова 1x1 сверток, где первые и последние 1x1 свертки уменьшают и затем восстанавливают размерность признаков, а 3x3 слой обрабатывает сжатое представление.