Qu'est-ce que FP8 et où est-il utilisé dans l'apprentissage/l'inférence?

FP8 est un format de nombres à virgule flottante utilisant seulement 8 bits pour stocker la valeur. Il se compose généralement d’un bit de signe, de plusieurs bits pour l’exposant et la mantisse, mais la structure exacte peut varier.

En apprentissage automatique, FP8 est utilisé pour optimiser les calculs et réduire la taille de la mémoire, notamment lors de l’entraînement et de l’inférence de grands modèles, tels que les LLM (Modèles de Langage de Grande Taille). L’utilisation de FP8 permet d’accélérer les calculs et de réduire la consommation d’énergie, tout en conservant une précision acceptable.

L’utilisation de FP8 est particulièrement pertinente dans les accélérateurs matériels (par exemple, GPU et TPU), où la prise en charge de la faible précision aide à augmenter la bande passante et l’efficacité.

Exemple : lors de l’entraînement d’un réseau neuronal, on peut utiliser FP8 pour stocker les poids et les activations, ce qui réduira les exigences en mémoire et accélérera les opérations de multiplication matricielle.