Τι είναι το stochastic depth και γιατί χρησιμοποιείται στο EfficientNet;

Το Stochastic Depth είναι μια τεχνική κανονικοποίησης που εφαρμόζεται σε βαθιά νευρωνικά δίκτυα, συμπεριλαμβανομένου του EfficientNet. Η ιδέα είναι να παραλείπεται τυχαία (απενεργοποιείται) ορισμένα στρώματα ή μπλοκ του δικτύου κατά τη διάρκεια της εκπαίδευσης με μια ορισμένη πιθανότητα.

Για ποιο λόγο χρειάζεται;

• Επιτρέπει την εκπαίδευση πολύ βαθιών δικτύων, μειώνοντας το υπερπροσαρμογή.
• Βελτιώνει την ικανότητα γενίκευσης του μοντέλου.
• Επιταχύνει την εκπαίδευση, καθώς ορισμένα στρώματα δεν υπολογίζονται σε κάθε βήμα.

Στο EfficientNet, το stochastic depth εφαρμόζεται σε υπολειμματικά μπλοκ: σε κάθε βήμα εκπαίδευσης, το μπλοκ είτε παραλείπεται (άμεση διέλευση χωρίς αλλαγές) είτε χρησιμοποιείται κανονικά. Κατά την πρόβλεψη, όλα τα μπλοκ είναι ενεργά.

Αυτό βοηθά το EfficientNet να επιτύχει υψηλή ποιότητα με λιγότερους παραμέτρους και υπολογισμούς.

Μπορείτε να το φανταστείτε έτσι:

if training:
    if random() < drop_prob:
        # παραλείψτε το μπλοκ
        output = input
    else:
        output = block(input)
else:
    output = block(input)

Έτσι, το stochastic depth είναι ένας τρόπος να κάνετε την εκπαίδευση πιο ανθεκτική και αποτελεσματική.