Cos'è la quantizzazione solo dei pesi e la quantizzazione delle attivazioni?

Quantizzazione solo dei pesi — è un metodo di compressione delle reti neurali in cui vengono quantizzati solo i pesi del modello (parametri), mentre le attivazioni rimangono nel formato originale (solitamente a virgola mobile). Questo riduce la dimensione del modello e accelera l'inferenza, mantenendo la precisione nei calcoli delle attivazioni.

Quantizzazione delle attivazioni — è la quantizzazione non solo dei pesi, ma anche delle attivazioni (uscite dei livelli). Questo permette di ridurre ulteriormente i requisiti di memoria e risorse computazionali, ma può portare a una maggiore perdita di precisione, poiché la quantizzazione delle attivazioni influisce sulla dinamica del funzionamento del modello.

Nel contesto di grandi modelli di linguaggio (LLM), la quantizzazione solo dei pesi viene spesso utilizzata per ridurre la dimensione del modello senza un deterioramento significativo della qualità, mentre la quantizzazione delle attivazioni viene applicata per un'ottimizzazione più aggressiva, che richiede un tuning accurato e una compensazione delle perdite di precisione.