Υπάρχει μετατόπιση του μοντέλου κατά τη διάρκεια εκπαίδευσης με dropout και inference χωρίς αυτό;

Η μετατόπιση του μοντέλου είναι μια αλλαγή στη διανομή των δεδομένων ή στη συμπεριφορά του μοντέλου με την πάροδο του χρόνου, που οδηγεί σε μείωση της ποιότητας των προβλέψεων.

Το dropout είναι μια τεχνική κανονικοποίησης κατά την οποία τυχαία "απενεργοποιούνται" νευρώνες κατά τη διάρκεια της εκπαίδευσης, για να αποτραπεί η υπερεκπαίδευση. Κατά την inference (υπολογισμό προβλέψεων), το dropout συνήθως απενεργοποιείται και όλοι οι νευρώνες είναι ενεργοί, αλλά οι έξοδοι τους κλιμακώνονται για να αντισταθμίσουν το αποτέλεσμα του dropout κατά την εκπαίδευση.

Εάν το dropout υλοποιηθεί σωστά, η μετάβαση από την εκπαίδευση με dropout στην inference χωρίς αυτό δεν προκαλεί μετατόπιση του μοντέλου, επειδή η κλιμάκωση των εξόδων των νευρώνων αντισταθμίζει τη διαφορά. Ωστόσο, αν η κλιμάκωση δεν πραγματοποιηθεί ή γίνει λανθασμένα, η συμπεριφορά του μοντέλου στην inference θα διαφέρει από αυτήν στην εκπαίδευση, κάτι που μπορεί να ερμηνευθεί ως μετατόπιση.

Έτσι, η μετατόπιση του μοντέλου κατά την εκπαίδευση με dropout και την inference χωρίς αυτό δεν συμβαίνει αν το dropout και η κλιμάκωση υλοποιηθούν σωστά. Αν η κλιμάκωση απουσιάζει, η συμπεριφορά του μοντέλου στην inference μπορεί να διαφέρει, κάτι που μπορεί να φαίνεται ως μετατόπιση.