Ce este adâncimea stocastică și de ce este folosită în EfficientNet?

Stochastic Depth este o tehnică de regularizare utilizată în rețele neuronale profunde, inclusiv în EfficientNet. Ideea constă în săritura (dezactivarea) aleatorie a unor straturi sau blocuri ale rețelei în timpul antrenamentului, cu o anumită probabilitate.

La ce folosește?

• Permite antrenarea unor rețele foarte adânci, reducând supraînvățarea.
• Îmbunătățește capacitatea de generalizare a modelului.
• Accelerează antrenamentul, deoarece unele straturi nu sunt calculate la fiecare pas.

În EfficientNet, stochastic depth se aplică blocurilor reziduale: la fiecare pas de antrenament, blocul fie este sărit (trecere directă fără modificări), fie este utilizat ca de obicei. În timpul inferenței, toate blocurile sunt active.

Acest lucru ajută EfficientNet să atingă o calitate înaltă cu un număr mai mic de parametri și calcule.

Poți să-l imaginezi astfel:

if training:
    if random() < drop_prob:
        # sări peste bloc
        output = input
    else:
        output = block(input)
else:
    output = block(input)

Astfel, stochastic depth este o metodă de a face antrenamentul mai robust și mai eficient.