Šta je FP8 i gde se koristi u obuci/inferenciji?

FP8 је формат бројева са плавајућом тачком који користи само 8 бита за чување вредности. Обично се састоји од 1 бита за знак, неколико бита за експоненту и мантису, али тачна структура може варирати.

У машинском учењу, FP8 се користи за оптимизацију израчунавања и смањење запремине меморије, посебно при тренирању и инференци великих модела, као што су LLM (Велики језички модели). Коришћење FP8 омогућава убрзање израчунавања и смањење потрошње енергије, уз одржавање прихватљиве тачности.

Посебно је релевантан у хардверским убрзивачима (нпр. GPU и TPU), где подршка за ниску прецизност помаже у повећању пропусне способности и ефикасности.

Пример: током тренирања неуронске мреже, FP8 се може користити за чување тежина и активирања, што ће смањити захтеве за меморијом и убрзати операције множења матрица.