Ce este FP8 și unde este utilizat în antrenament/inferență?

FP8 este un format de numere în virgulă mobilă care utilizează doar 8 biți pentru stocare. De obicei, constă din 1 bit pentru semn, mai mulți biți pentru exponent și mantisă, dar structura exactă poate varia.

În învățarea automată, FP8 este folosit pentru a optimiza calculele și a reduce volumul de memorie, în special în timpul antrenamentului și inferenței modelelor mari, cum ar fi LLM (Modele de Limbaj Mari). Utilizarea FP8 permite accelerarea calculelor și reducerea consumului de energie, menținând în același timp o precizie acceptabilă.

Utilizarea FP8 este deosebit de relevantă în acceleratoare hardware (de exemplu, GPU și TPU), unde suportul pentru precizie scăzută ajută la creșterea lățimii de bandă și a eficienței.

Exemplu: în timpul antrenamentului unei rețele neuronale, FP8 poate fi folosit pentru stocarea greutăților și activărilor, ceea ce va reduce cerințele de memorie și va accelera operațiile de multiplicare matricială.