Šta je skip konekcija i čemu služi (ResNet)?

Пропуштена веза (skip connection) је архитектонска техника у неуронским мрежама, у којој се излаз једног слоја директно додаје излазу дубљег слоја, заобилазећи међуслоја. У ResNet-у, ово се реализује додавањем улаза слоја његовом излазу (обично након неколико операција конволуције).

Зашто је то потребно?

• Помаже у борби против проблема исчезавајућег градијента током тренирања веома дубоких мрежа.
• Олакшава тренирање, омогућавајући градијенту да директно пролази кроз слојеве.
• Омогућава мрежама да уче да прилагођавају промене, уместо да потпуно преправљају представе.

Пример:

Ако означимо улаз слоја као x, а функцију слоја као F(x), онда ће излаз са пропуштеном везом бити y = F(x) + x.

Ово побољшава сходимост и квалитет тренирања дубоких модела.