Τι είναι η ποσοτικοποίηση μόνο βαρών και η ποσοτικοποίηση ενεργοποίησης;

Μόνο βάρη ποσοτικοποίησης — είναι μια μέθοδος συμπίεσης νευρωνικών δικτύων όπου ποσοτικοποιούνται μόνο τα βάρη του μοντέλου (παράμετροι), ενώ οι ενεργοποιήσεις παραμένουν στη αρχική τους μορφή (συνήθως με κινητή υποδιαστολή). Αυτό μειώνει το μέγεθος του μοντέλου και επιταχύνει την εκτέλεση, διατηρώντας την ακρίβεια των υπολογισμών ενεργοποίησης.

Ποσοτικοποίηση ενεργοποίησης — είναι η ποσοτικοποίηση όχι μόνο των βαρών, αλλά και των ενεργοποιήσεων (εξόδων των στρωμάτων). Αυτό επιτρέπει περαιτέρω μείωση των απαιτήσεων μνήμης και υπολογιστικών πόρων, αλλά μπορεί να οδηγήσει σε μεγαλύτερη απώλεια ακρίβειας, καθώς η ποσοτικοποίηση ενεργοποίησης επηρεάζει τη δυναμική λειτουργία του μοντέλου.

Στο πλαίσιο μεγάλων μοντέλων γλώσσας (LLM), η μόνο ποσοτικοποίηση βαρών συχνά χρησιμοποιείται για τη μείωση του μεγέθους του μοντέλου χωρίς σημαντική υποβάθμιση της ποιότητας, ενώ η ποσοτικοποίηση ενεργοποίησης εφαρμόζεται για πιο επιθετική βελτιστοποίηση, που απαιτεί προσεκτική ρύθμιση και αντιστάθμιση απωλειών ακρίβειας.