Πώς λειτουργεί το dropout κατά τη διάρκεια της εκπαίδευσης και της inference;

Το Dropout είναι μια τεχνική κανονικοποίησης νευρωνικών δικτύων που απενεργοποιεί τυχαία (μηδενίζει) ένα μέρος των νευρώνων κατά τη διάρκεια της εκπαίδευσης, για να αποτρέψει το υπερπροσαρμογή.

Κατά τη διάρκεια της εκπαίδευσης:

• Για κάθε παράδειγμα εισόδου, ένα καθορισμένο ποσοστό νευρώνων απενεργοποιείται τυχαία (π.χ., 20-50%).
• Αυτό αναγκάζει το δίκτυο να μην εξαρτάται από συγκεκριμένους νευρώνες και βελτιώνει την ικανότητά του για γενίκευση.

Κατά την inference (πρόβλεψη):

• Το Dropout δεν εφαρμόζεται, όλοι οι νευρώνες είναι ενεργοί.
• Για να αντισταθμιστεί η απουσία απενεργοποίησης νευρώνων, τα βάρη κλιμακώνονται (συνήθως πολλαπλασιάζονται με την πιθανότητα ενεργοποίησης του νευρώνα), ή χρησιμοποιείται κλιμάκωση κατά τη διάρκεια της εκπαίδευσης (inverted dropout).

Έτσι, το Dropout βοηθά να γίνει το μοντέλο πιο ανθεκτικό και λιγότερο επιρρεπές στο υπερπροσαρμογή, αλλά κατά την inference, το δίκτυο λειτουργεί πλήρως χωρίς τυχαίες απενεργοποιήσεις.