Τι είναι η ποστ-εκπαίδευση ποσοτικοποίηση για κινητά μοντέλα;

Η ποστ-εκπαίδευση ποσοτικοποίηση είναι μια μέθοδος βελτιστοποίησης νευρωνικών δικτύων που εφαρμόζεται μετά την ολοκλήρωση της εκπαίδευσης του μοντέλου. Μειώνει το μέγεθος του μοντέλου και επιταχύνει τη λειτουργία του σε κινητές και edge συσκευές, μειώνοντας την ακρίβεια των βαρών και των ενεργοποιήσεων (π.χ., από float 32-bit σε ακέραιους 8-bit).

Κύρια πλεονεκτήματα:

• Μείωση του όγκου μνήμης που απαιτείται για την αποθήκευση του μοντέλου.
• Μείωση του χρόνου inference και της κατανάλωσης ενέργειας.

Η διαδικασία περιλαμβάνει συνήθως:

1. Ποσοτικοποίηση των βαρών του μοντέλου.
2. (Προαιρετικά) Ποσοτικοποίηση των ενεργοποιήσεων με τη χρήση ενός σετ δεδομένων βαθμονόμησης.

Αυτό επιτρέπει την εκτέλεση μοντέλων σε συσκευές με περιορισμένους πόρους χωρίς επανεκπαίδευση ή με ελάχιστη πρόσθετη ρύθμιση.