Kas ir stochastic depth un kāpēc tas tiek izmantots EfficientNet?

Stochastic Depth ir tehnika, kas tiek regulēšanā tiek izmantota dziļās neironu tīklos, tostarp EfficientNet. Ideja ir nejauši izlaist (atslēgt) dažus slāņus vai blokus tīklā treniņa laikā ar noteiktu varbūtību.

Kam tas ir nepieciešams?

• Ļauj trenēt ļoti dziļas tīklus, samazinot pārtrenēšanos.
• Uzlabo modeļa vispārējo spēju.
• Paātrina apmācību, jo daži slāņi netiek aprēķināti katrā solī.

EfficientNet, stochastic depth tiek piemērots rezidūlo bloku: katrā treniņa solī bloks vai tiek izlaists (tiešs pāreja bez izmaiņām), vai tiek izmantots kā parasti. Inference laikā visi bloki ir aktīvi.

Tas palīdz EfficientNet sasniegt augstu kvalitāti ar mazāku parametru un aprēķinu skaitu.

To var iedomāties šādi:

if training:
    if random() < drop_prob:
        # izlaist bloku
        output = input
    else:
        output = block(input)
else:
    output = block(input)

Tādējādi, stochastic depth ir veids, kā padarīt apmācību stabilāku un efektīvāku.