Co je FP8 a kde se používá při tréninku/inferenci?

FP8 je formát čísla s plovoucí desetinnou čárkou, který používá pouze 8 bitů k uložení hodnoty. Obvykle se skládá z 1 bitu znaménka, několika bitů pro exponent a mantisu, ale přesná struktura se může lišit.

V strojovém učení se FP8 používá k optimalizaci výpočtů a ke snížení objemu paměti, zejména při tréninku a inferenci velkých modelů, jako jsou LLM (Velké jazykové modely). Použití FP8 umožňuje zrychlit výpočty a snížit spotřebu energie, přičemž zachovává přijatelnou přesnost.

Použití FP8 je obzvlášť důležité v hardwarových zrychlovačích (například GPU a TPU), kde podpora nízké přesnosti pomáhá zvýšit propustnost a efektivitu.

Příklad: při tréninku neuronové sítě lze použít FP8 pro ukládání vah a aktivací, což sníží požadavky na paměť a urychlí operace násobení matic.