Что такое skip connection и зачем она нужна (ResNet)?

Skip connection (пропускная связь) — это архитектурный приём в нейронных сетях, при котором выход одного слоя напрямую добавляется к выходу более глубокого слоя, минуя промежуточные слои. В ResNet это реализовано через добавление входа слоя к его выходу (обычно после нескольких свёрточных операций).

Зачем это нужно:

• Помогает бороться с проблемой затухающего градиента при обучении очень глубоких сетей.
• Облегчает обучение, позволяя градиенту проходить напрямую через слои.
• Позволяет сети учиться корректировать изменения, а не полностью переобучать представления.

Пример:

Если обозначить вход слоя как x, а функцию слоя как F(x), то выход с skip connection будет y = F(x) + x.

Это улучшает сходимость и качество обучения глубоких моделей.