Χρησιμοποιούνται στατιστικά στοιχεία από το πακέτο ή αποθηκευμένες παράμετροι στην κανονικοποίηση πακέτου κατά την inference;

Κατά τη διάρκεια της inference (πρόβλεψη), στη κανονικοποίηση παρτίδας χρησιμοποιούνται οι αποθηκευμένες παράμετροι: στατιστικά στοιχεία μέσου όρου (μέσος και διακύμανση), που έχουν συσσωρευτεί κατά τη διάρκεια της εκπαίδευσης του μοντέλου, και όχι τα στατιστικά στοιχεία της τρέχουσας παρτίδας.

Αυτό συμβαίνει επειδή κατά την inference, το μοντέλο συνήθως επεξεργάζεται ένα ή λίγα παραδείγματα, και τα στατιστικά μικρών παρτίδων μπορεί να είναι ασταθή και να μην αντικατοπτρίζουν την γενική εικόνα των δεδομένων.

Επομένως:

• Κατά την εκπαίδευση, τα στατιστικά της παρτίδας χρησιμοποιούνται για την κανονικοποίηση και την ενημέρωση των παγκόσμιων παραμέτρων.
• Κατά την inference, εφαρμόζεται ο κινητός μέσος και η διακύμανση που έχουν αποθηκευτεί για την κανονικοποίηση των εισερχόμενων δεδομένων.

Αυτό διασφαλίζει σταθερότητα και συνέπεια στη λειτουργία του μοντέλου σε νέα δεδομένα.