Kas ir FP8 un kur tas tiek izmantojams apmācībā/prognozē?

FP8 ir pludiņa skaitļu formāts, kas izmanto tikai 8 bitus, lai saglabātu vērtību. Parasti tas sastāv no 1 zīmes bitu, vairākiem bitiem eksponentam un mantisei, bet precīza struktūra var atšķirties.

Mašīnmācībā FP8 tiek izmantots, lai optimizētu aprēķinus un samazinātu atmiņas apjomu, īpaši apmācībā un lielu modeļu, piemēram, LLM (Lielie valodu modeļi), inferencē. FP8 izmantošana ļauj paātrināt aprēķinus un samazināt enerģijas patēriņu, saglabājot pieņemamu precizitāti.

FP8 ir īpaši svarīgs aparatūras paātrinātājos (piemēram, GPU un TPU), kur zemās precizitātes atbalsts palīdz palielināt caurlaidību un efektivitāti.

Piemērs: neironu tīkla apmācībā FP8 var tikt izmantots svaru un aktivizāciju glabāšanai, kas samazinās atmiņas prasības un paātrinās matricu reizināšanas operācijas.