Skip bog'lanishi nima va u nima uchun kerak (ResNet)?

Skip bog‘lanishi (skip connection) — bu neyron tarmoqlarda arxitektura usulidir, bunda bir qatlam chiqishi to‘g‘ridan-to‘g‘ri chuqurroq qatlam chiqishiga qo‘shiladi, o‘rta qatlamlar o‘tkazib yuboriladi. ResNetda bu qatlam kirishini uning chiqishiga qo‘shish orqali amalga oshiriladi (odatda bir nechta konvolyutsiya operatsiyalaridan so‘ng).

Buning nima uchun kerak?

• Juda chuqur tarmoqlarda gradientning yo‘qolishi muammosiga qarshi yordam beradi.
• O‘qitishni osonlashtiradi, gradientning qatlamlar bo‘ylab to‘g‘ridan-to‘g‘ri o‘tishini ta’minlaydi.
• Tarmoqlarga o‘zgarishlarni sozlashni o‘rganishga imkon beradi, to‘liq takrorlash o‘rniga.

Misol:

Agar qatlam kirishini x bilan belgilasak, va qatlam funksiyasini F(x) deb olsak, skip bog‘lanishi bilan chiqish y = F(x) + x bo‘ladi.

Bu chuqur modellarni o‘qitish va sifatini yaxshilaydi.