Wat is FP8 en waar wordt het toegepast in training/inferentie?

FP8 is een formaat voor floating-point getallen dat slechts 8 bits gebruikt om de waarde op te slaan. Het bestaat meestal uit 1 tekenbit, meerdere bits voor de exponent en de mantisse, maar de exacte structuur kan variëren.

In machine learning wordt FP8 gebruikt om berekeningen te optimaliseren en het geheugenverbruik te verminderen, vooral bij het trainen en inferentie van grote modellen zoals LLM (Large Language Models). Het gebruik van FP8 maakt het mogelijk om berekeningen te versnellen en het energieverbruik te verminderen, terwijl een acceptabele nauwkeurigheid behouden blijft.

Het gebruik van FP8 is vooral relevant in hardwareversnellers (bijvoorbeeld GPU's en TPU's), waar ondersteuning voor lage precisie helpt om de doorvoer en efficiëntie te verhogen.

Voorbeeld: bij het trainen van een neuraal netwerk kan FP8 worden gebruikt voor het opslaan van gewichten en activaties, wat de geheugenvereisten vermindert en matrixvermenigvuldigingen versnelt.