Cos'è FP8 e dove viene utilizzato nell'addestramento/inferenza?

FP8 è un formato di numeri in virgola mobile che utilizza solo 8 bit per memorizzare il valore. Di solito consiste di 1 bit di segno, alcuni bit per l’esponente e la mantissa, ma la struttura precisa può variare.

Nel machine learning, FP8 viene utilizzato per ottimizzare i calcoli e ridurre il volume di memoria, specialmente durante l’addestramento e l’inferenza di grandi modelli, come i LLM (Modelli di Linguaggio di Grandi Dimensioni). L’uso di FP8 permette di accelerare i calcoli e ridurre il consumo di energia, mantenendo una precisione accettabile.

L’uso di FP8 è particolarmente rilevante negli acceleratori hardware (ad esempio, GPU e TPU), dove il supporto per bassa precisione aiuta ad aumentare la banda passante e l’efficienza.

Esempio: durante l’addestramento di una rete neurale, si può usare FP8 per memorizzare pesi e attivazioni, riducendo i requisiti di memoria e accelerando le operazioni di moltiplicazione di matrici.