Πώς λειτουργεί το dropout στα νευρωνικά δίκτυα;

Το dropout είναι μια τεχνική κανονικοποίησης σε νευρωνικά δίκτυα που βοηθά στην πρόληψη του υπερπροσαρμογής. Κατά τη διάρκεια της εκπαίδευσης, ένα μέρος των νευρώνων απενεργοποιείται τυχαία (μηδενίζεται) με μια δεδομένη πιθανότητα (π.χ., 0,5). Αυτό αναγκάζει το δίκτυο να μην εξαρτάται υπερβολικά από μεμονωμένους νευρώνες και να μαθαίνει πιο ανθεκτικά χαρακτηριστικά.

Πώς λειτουργεί:

• Σε κάθε βήμα εκπαίδευσης, για κάθε νευρώνα, με πιθανότητα p, η έξοδός του αντικαθίσταται με 0.
• Ως αποτέλεσμα, το δίκτυο γίνεται σαν ένα σύνολο διαφορετικών υπο-μοντέλων.
• Κατά τη δοκιμή, το dropout δεν εφαρμόζεται, αλλά τα βάρη των νευρώνων κλιμακώνονται για να αντισταθμίσουν την απενεργοποίηση κατά τη διάρκεια της εκπαίδευσης.

Παράδειγμα σε ψευδοκώδικα:

for neuron in layer:
    if random() < dropout_rate:
        neuron.output = 0
    else:
        neuron.output = neuron.output / (1 - dropout_rate)

Αυτό βοηθά στη βελτίωση της γενικευτικής ικανότητας του μοντέλου.