FP8 nədir və o, təlim/təxmini prosesində harada istifadə olunur?

FP8, ədədi onluq formatıdır və yalnız 8 bit istifadə edərək dəyəri saxlamağa imkan verir. Adətən, 1 işarə biti, eksponent və mantissa üçün bir neçə bit və ya struktur dəyişikliyi ola bilər.

Maşın öyrənməsində, FP8 hesablama optimizasiyası və yaddaş həcminin azaldılması üçün istifadə olunur, xüsusən də böyük modellərin təlimi və çıxarışında, məsələn, LLM (Böyük Dil Modelləri). FP8 istifadəsi hesablama sürətini artırmağa və enerji sərfiyyatını azaltmağa imkan verir, eyni zamanda qəbul edilə bilən dəqiqliyi qoruyur.

FP8 istifadə olunması xüsusilə hardware sürətləndiricilərində (məsələn, GPU və TPU) vacibdir, burada aşağı dəqiqlik dəstəyi ötürmə qabiliyyətini və səmərəliliyi artırmağa kömək edir.

Nümunə: neyron şəbəkənin təlimində, çəkiləri və aktivləşmələri saxlamaq üçün FP8 istifadə edilə bilər, bu da yaddaş tələblərini azaldır və matris çoxaltma əməliyyatlarını sürətləndirir.