Τι είναι η ποσοτικοποίηση NF4 στο QLoRA;

Ο NF4-ποσοτικοποίηση στο QLoRA είναι μια μέθοδος συμπίεσης των βαρών μεγάλων μοντέλων γλώσσας (LLM) χρησιμοποιώντας ποσοτικοποίηση 4-bit με μια κανονικοποιημένη μορφή (Normalized Format 4-bit). Ο στόχος είναι η μείωση του μεγέθους του μοντέλου και η επιτάχυνση της εκπαίδευσης με χαμηλό κόστος μνήμης, διατηρώντας παράλληλα την ακρίβεια.

Σε αντίθεση με την κοινή 4-bit ποσοτικοποίηση, το NF4 λαμβάνει υπόψη την κατανομή των τιμών των βαρών και εφαρμόζει κανονικοποίηση, επιτρέποντας πιο αποδοτικό κωδικοποίηση των παραμέτρων του μοντέλου. Αυτό είναι ιδιαίτερα χρήσιμο κατά το fine-tuning μεγάλων μοντέλων με περιορισμένους πόρους.

Επομένως, η NF4 ποσοτικοποίηση στο QLoRA αποτελεί συμβιβασμό μεταξύ μεγέθους και ποιότητας του μοντέλου, επιτρέποντας την εκτέλεση και το fine-tuning LLM σε πιο απλό εξοπλισμό.