Kas yra FP8 ir kur jis taikomas mokyme/įžvalgose?

FP8 yra skaitmenų su plaukiojančiu kableliu formatas, kuris naudoja tik 8 bitus reikšmei saugoti. Paprastai jis susideda iš 1 ženklo bitų, kelių bitų eksponentui ir mantisei, tačiau tiksli struktūra gali skirtis.

Mašininiame mokyme FP8 naudojamas skaičiavimų optimizavimui ir atminties kiekio mažinimui, ypač mokant ir įgyvendinant didelius modelius, tokius kaip LLM (Dideli kalbos modeliai). FP8 naudojimas leidžia pagreitinti skaičiavimus ir sumažinti energijos suvartojimą, išlaikant priimtiną tikslumą.

FP8 ypač svarbus aparatūros pagreitinimuose (pvz., GPU ir TPU), kur žemos tikslumo palaikymas padeda padidinti pralaidumą ir efektyvumą.

Pavyzdys: mokant neuroninį tinklą, galima naudoti FP8 svorių ir aktyvacijų saugojimui, tai sumažins atminties reikalavimus ir pagreitins matricų daugybos operacijas.