Čo je FP8 a kde sa používa pri tréningu/inferencii?

FP8 je format za brojeve s plivajućom točkom koji koristi samo 8 bita za pohranu vrijednosti. Obično se sastoji od 1 bita za znak, nekoliko bita za eksponent i mantisu, ali točna struktura može varirati.

U strojnome učenju, FP8 se koristi za optimizaciju izračuna i smanjenje volumena memorije, osobito pri treniranju i inferenciji velikih modela, poput LLM (Veliki jezični modeli). Korištenje FP8 omogućava ubrzavanje izračuna i smanjenje potrošnje energije, uz održavanje prihvatljive točnosti.

Korištenje FP8 osobito je važno u hardverskim ubrzivačima (npr. GPU i TPU), gdje podrška za nisku preciznost pomaže povećati propusnost i učinkovitost.

Primjer: tijekom treniranja neuronske mreže, FP8 se može koristiti za pohranu težina i aktivacija, što će smanjiti zahtjeve za memorijom i ubrzati operacije množenja matrica.