Kas ir skip savienojums un kam tas ir nepieciešams (ResNet)?

Slepenais savienojums (skip connection) ir arhitektūras tehnika neironu tīklos, kurā viena slāņa izvade tieši pievienojas dziļākas slāņa izvadei, apietot starpslāņus. ResNet gadījumā tas tiek īstenots, pievienojot slāņa ieeju tā izvadei (parasti pēc vairākām konvolūcijas operācijām).

Kam tas ir nepieciešams?

• Palīdz cīnīties ar zuduma gradienta problēmu ļoti dziļās tīklos.
• Atvieglo apmācību, ļaujot gradientam tieši plūst caur slāņiem.
• Ļauj tīklam mācīties koriģēt izmaiņas, nevis pilnībā pārtrenēt reprezentācijas.

Piemērs:

Ja apzīmējam slāņa ieeju kā x, un funkciju kā F(x), tad ar slepeno savienojumu izvade būs y = F(x) + x.

Tas uzlabo konverģenci un apmācības kvalitāti dziļos modeļos.