Mis on FP8 ja kus seda kasutatakse koolituses/järeldustes?

FP8 on liitmälu arvutamise formaat, mis kasutab väärtuse salvestamiseks ainult 8 bitti. Tavaliselt koosneb sellest 1 märgi bitt, mitmest bitist eksponenti ja mantissast, kuid täpne struktuur võib erineda.

Masinõppes kasutatakse FP8-i arvutuste optimeerimiseks ja mälu mahtu vähendamiseks, eriti suurte mudelite, nagu LLM (Suured keelemudelid), treenimisel ja inferentsil. FP8 kasutamine võimaldab arvutusi kiirendada ja energiatarbimist vähendada, säilitades samal ajal vastuvõetava täpsuse.

FP8 on eriti oluline riistvarakiirendites (näiteks GPU ja TPU), kus madala täpsuse tugi aitab suurendada läbilaskevõimet ja tõhusust.

Näide: närvivõrgu treenimisel võib FP8 kasutada kaalude ja aktivatsioonide salvestamiseks, mis vähendab mäe nõudeid ja kiirendab maatriksite korrutamist.