Ποιες στρώσεις στα νευρωνικά δίκτυα συμπεριφέρονται διαφορετικά κατά τη διάρκεια της εκπαίδευσης και της inference (Dropout, BatchNorm κ.λπ.)?

Μερικές στρώσεις νευρωνικών δικτύων συμπεριφέρονται διαφορετικά στα στάδια εκπαίδευσης (train) και inference (inference):

• Dropout: κατά τη διάρκεια της εκπαίδευσης, απενεργοποιεί τυχαία ένα μέρος των νευρώνων για την αποτροπή υπερεκπαίδευσης, και κατά την inference, όλοι οι νευρώνες είναι ενεργοί, με τις εξόδους να κλιμακώνονται για να αντισταθμίσουν.
• Κανονικοποίηση παρτίδας (BatchNorm): κατά τη διάρκεια της εκπαίδευσης, κανονικοποιεί τις εισόδους του στρώματος βάσει της τρέχουσας παρτίδας, ενημερώνοντας τις στατιστικές (μέση τιμή και διακύμανση), και κατά την inference, χρησιμοποιεί τις συσσωρευμένες στατιστικές για μεγαλύτερη σταθερότητα.

Έτσι, αυτά τα στρώματα προσαρμόζουν τη συμπεριφορά τους για να διασφαλίσουν καλύτερη εκπαίδευση και σωστή λειτουργία του μοντέλου κατά τις προβλέψεις.